hallo,
wird die datei robots.txt auch dazu verwendet, um spamcrawler nicht auf gewisse seiten zu führen?
gewissermassen als eine schutzmassnahme ?
Viren, Spyware, Datenschutz 11.252 Themen, 94.780 Beiträge
Hallo!
Naja, die guten Scanner halten sich dran.
Den bösen ist das so was von egal.
Die zieht das eher an.
Ein Schutz ist das nicht. http://de.wikipedia.org/wiki/Robots.txt
Gruss
ChrE