kann mir jmd mal verraten, was es sich damit auf sich hat und wie man sie dann einsetzen muss... der erklärungstext ist im hübschen technical english für dumpfbacken wie mich völlig unverständlich...
grüße&dank
karsten
Homepage selbermachen 7.850 Themen, 35.593 Beiträge
thorsten.h (Anonym) „robots.txt“
die datei robots.txt muss im stammverzeichnis liegen und ist für suchmachen(-spider) bestimmt.
in sie schreibst du hinein
User-agent: *
Disallow: /cgi-bin
wenn du alle suchmaschinen zulassen willst und der ordner cgi-bin nicht durchsucht werden soll.
oder
User-agent: web.de,fireball,altavista
Disallow: seiten/geheim.html
wenn nur die angegeben suchmaschinen deine seite durchsuchen sollen und die datei geheim.htm im ordner "seiten" nicht.
ich hoffe, ich habe das einigermaßen verständlich erklärt.
aloha,
thorsten
