Vor viereinhalb Monaten hatte ich darauf hingewiesen, dass im Netz unkommentierte Sperrlisten für "böse" Bots kursieren, die je nach Blickwinkel auch nützliche Bots oder gar Webbrowser wie Opera oder Konqueror aussperren (siehe Webnotiz Böser Bot - oder doch guter Bot?).
Jan Piotrowski hat auf der Domain disallow.de nun ein neues Projekt gestartet: eine Datenbank, die die IPs und User Agents von unerwünschten Bots erfasst. Hierbei soll es auch eine Klassifizierung geben, nach der z.B. unartige Bots (die sich nicht an Anweisungen der robots.txt halten) von Linkspidern und Download-Tools unterschieden werden oder auch von seriösen Suchmaschinenbots. Wie ich finde, eine sehr gute Idee, von deren Umsetzung viele Webmaster profitieren können, und zu deren Umsetzung sie auch selbst beitragen können.
Den aktuellen Stand der Entwicklung des Projektes kann man im Disallowblog erfahren.