Aktive Spider und Roboter

Wenn man die Logfiles seiner Webseite durchsieht, dann kommen immer wieder Zugriffe auf eine Datei namens "robots.txt" vor. Was hat es damit auf sich? Was Robots sind und was ein robots.txt File bewirkt, hat Björn Hörmann beschrieben.

Es gibt natürlich weitere Seiten, die Roboter auflisten.

Ich habe mal meine Logfiles durchgesehen, wer auf die robots.txt (Nur Zugriffe auf diese Datei werden ausgewertet!) Datei zugegriffen hat und den User-Agent des Robots und die dazugehörige Suchmaschine herausgeschrieben.

Wenn ihr auch Informationen zu User-Agents habt, dann laßt mir diese bitte zukommen, gerne auch per eMail, dann kann hier im Laufe der Zeit eine Liste der User Agents von Suchmaschinen entstehen.

Stand der Daten: 19. Oktober 2003

Keine Verbindung zur Datenbank.