hallo,
wird die datei robots.txt auch dazu verwendet, um spamcrawler nicht auf gewisse seiten zu führen?
gewissermassen als eine schutzmassnahme ?

hallo,
wird die datei robots.txt auch dazu verwendet, um spamcrawler nicht auf gewisse seiten zu führen?
gewissermassen als eine schutzmassnahme ?
In Jörgs Forum gibt's gerade eine Diskussion zum Thema:
http://forum.joergkrusesweb.de/ipsperre-sinnvoll-t-3295-1.html
Immer noch einer der Klassiker:
http://board.ranking-konzept.de/topic,3781.html