hallo,
wird die datei robots.txt auch dazu verwendet, um spamcrawler nicht auf gewisse seiten zu führen?
gewissermassen als eine schutzmassnahme ?

hallo,
wird die datei robots.txt auch dazu verwendet, um spamcrawler nicht auf gewisse seiten zu führen?
gewissermassen als eine schutzmassnahme ?
Hallo!
Naja, die guten Scanner halten sich dran.
Den bösen ist das so was von egal.
Die zieht das eher an.
Ein Schutz ist das nicht. http://de.wikipedia.org/wiki/Robots.txt
Gruss
ChrE