Viren, Spyware, Datenschutz 11.218 Themen, 94.243 Beiträge

Verfolgung starten Optionen

robots.txt..verständnisfrage

ghartl1 / 11 Antworten / Flachansicht Nickles

hallo,

wird die datei robots.txt auch dazu verwendet, um spamcrawler nicht auf gewisse seiten zu führen?

gewissermassen als eine schutzmassnahme ?

bei Antwort benachrichtigen
Hallo! Naja, die guten Scanner halten sich dran. Den bösen ist das so was ... ChrE
Max Payne ghartl1 „robots.txt..verständnisfrage“
Optionen

Ich kann mir nicht vorstellen, dass ein Spamcrawler sich um das schert, was in der robots.txt steht.
Das ist in etwa so zuverlässig wie der "keine Werbung"-Aufkleber am Briefkasten...

The trouble with computers is that they do what you told them – not necessarily what you wanted them to do.
bei Antwort benachrichtigen
Das kannst Du über Einträge in der .htaccess lösen nach folgendem Schema: ... asterix5
123.45.67.890 Ist das die IP-Adresse von DEM Spam-Crawler? - Über eine ... Borlander
Ich selbst hab s nicht getestet, hatte bisher auch keine Veranlassung dazu. ... asterix5
123.45.67.890 ... Eine Übereinstimmung mit einer tatsächlich vorhandenen ... Borlander
Und welche Maßnahme schlägst Du vor? asterix5
Keine regulären eMail-Adressen auf Webseiten angeben, sondern nur solche ... Borlander
Meine Frage Und welche Maßnahme schlägst Du vor? war wohl zu kurz. Ich ... asterix5
Es gibt keine Maßnahmen mit der Du das zuverlässig ausschließen ... Borlander
In Jörgs Forum gibt s gerade eine Diskussion zum Thema: ... asterix5