Robots.txt was ist das

Homepage selbermachen 7.846 Themen, 35.563 Beiträge

Robots.txt was ist das

(Anonym) am 11.05.2001, 00:00 / 3 Antworten / Flachansicht

Also ich habe ne Internetseite und ich habe in meinem Fehler Protokoll gesehen das diverse suchmaschienen versuchen die Datei Robots.txt zu laden. Ich denke die ist wichtig aber wozu und was muss drinstehen danke im Vorraus

Mit der Datei robots.txt Seiten vor Robots schützen (Anonym) 11.05.2001, 00:00

rechtes oder linkes Patschehändchen auf das Teil vor dir auf dem Tisch ... (Anonym) 11.05.2001, 00:00

CiTay

(Anonym) „Robots.txt was ist das“

11.05.2001, 00:00 Optionen

Mann was soll denn das, Mr. Anonym, bei der Antwort hier eine ganze Homepage rein zu pasten??

Also, um auf die Frage zurück zu kommen, da kann man rein schreiben, wie die Suchmaschinen deine Seite katalogisieren sollen (z.B. kannst du Verzeichnisse vom Suchdienst ausschließen etc).

Wenn du willst, dass grundsätzlich alle Seiten deiner Domain in der Suchmaschine auftauchen, dann lege eine leere robots.txt an (0 byte). Dann werden alle Unterseiten katalogisiert.