hallo,
wird die datei robots.txt auch dazu verwendet, um spamcrawler nicht auf gewisse seiten zu führen?
gewissermassen als eine schutzmassnahme ?
Viren, Spyware, Datenschutz 11.252 Themen, 94.780 Beiträge
Und welche Maßnahme schlägst Du vor?