robot.txt

[Christian]

Hallo,

vielleicht kann mir einer der Suchmaschinen-Profis helfen.

Irgendjemand (vielleicht ein Robot) sucht auf meinen Domains immer die Seite robot.txt. Da diese nicht vorhanden ist, findet er sie nicht.

Was bedeutet diese Seite. Ich habe da nur eine für mich unverständliche englische Erläuterung gefunden.

Sollte man eine solche Seite einrichten?

Wen ja mit welchem Inhalt?

fragt ratlos

Euer Christian

 

[ntiedemann]

Die meisten Suchmaschinen suchen automatisch nach der robots.txt. Diese wird von dem Suchmaschinen-Crawler als allererstes aufgerufen und enthält Informationen, wie die Suchmaschine mit der Domain umgehen soll.

Inhalt ist z.B.:
---------------------------------

#User-agent gibt an für welche Spider die Infos gelten. * gilt für alle
User-agent: *

#Disallow gibt ab, was die Suchmaschine NICHT indizieren soll
Disallow: /cgi-bin/
Disallow: /mysql/
Disallow: /test.html

----------------------------------

Ciao,

Niko