Viren, Spyware, Datenschutz 11.217 Themen, 94.227 Beiträge

Verfolgung starten Optionen

robots.txt..verständnisfrage

ghartl1 / 11 Antworten / Flachansicht Nickles

hallo,

wird die datei robots.txt auch dazu verwendet, um spamcrawler nicht auf gewisse seiten zu führen?

gewissermassen als eine schutzmassnahme ?

bei Antwort benachrichtigen
Hallo! Naja, die guten Scanner halten sich dran. Den bösen ist das so was ... ChrE
Ich kann mir nicht vorstellen, dass ein Spamcrawler sich um das schert, was ... Max Payne
asterix5 ghartl1 „robots.txt..verständnisfrage“
Optionen

Das kannst Du über Einträge in der .htaccess lösen nach folgendem Schema:

order deny,allow
deny from 123.45.67.890
deny from weitere-ip
deny from weitere-ip

\"Als ich nach Deutschland kam, sprach ich nur Englisch - aber weil die deutsche Sprache inzwischen so viele englische Wörter hat, spreche ich jetzt fließend Deutsch!\" (Rudi Carrell)
bei Antwort benachrichtigen
123.45.67.890 Ist das die IP-Adresse von DEM Spam-Crawler? - Über eine ... Borlander
Ich selbst hab s nicht getestet, hatte bisher auch keine Veranlassung dazu. ... asterix5
123.45.67.890 ... Eine Übereinstimmung mit einer tatsächlich vorhandenen ... Borlander
Und welche Maßnahme schlägst Du vor? asterix5
Keine regulären eMail-Adressen auf Webseiten angeben, sondern nur solche ... Borlander
Meine Frage Und welche Maßnahme schlägst Du vor? war wohl zu kurz. Ich ... asterix5
Es gibt keine Maßnahmen mit der Du das zuverlässig ausschließen ... Borlander
In Jörgs Forum gibt s gerade eine Diskussion zum Thema: ... asterix5