hallo,
wird die datei robots.txt auch dazu verwendet, um spamcrawler nicht auf gewisse seiten zu führen?
gewissermassen als eine schutzmassnahme ?
Viren, Spyware, Datenschutz 11.215 Themen, 94.210 Beiträge
123.45.67.890
Ist das die "IP-Adresse" von DEM Spam-Crawler? ;-)
Über eine IP-Sperre wirst Du kaum solche Besucher aussperren können...
Ist das die "IP-Adresse" von DEM Spam-Crawler? ;-)
Über eine IP-Sperre wirst Du kaum solche Besucher aussperren können...