Viren, Spyware, Datenschutz 11.218 Themen, 94.243 Beiträge

Verfolgung starten Optionen

robots.txt..verständnisfrage

ghartl1 / 11 Antworten / Flachansicht Nickles

hallo,

wird die datei robots.txt auch dazu verwendet, um spamcrawler nicht auf gewisse seiten zu führen?

gewissermassen als eine schutzmassnahme ?

bei Antwort benachrichtigen
Hallo! Naja, die guten Scanner halten sich dran. Den bösen ist das so was ... ChrE
Ich kann mir nicht vorstellen, dass ein Spamcrawler sich um das schert, was ... Max Payne
Das kannst Du über Einträge in der .htaccess lösen nach folgendem Schema: ... asterix5
123.45.67.890 Ist das die IP-Adresse von DEM Spam-Crawler? - Über eine ... Borlander
Ich selbst hab s nicht getestet, hatte bisher auch keine Veranlassung dazu. ... asterix5
123.45.67.890 ... Eine Übereinstimmung mit einer tatsächlich vorhandenen ... Borlander
Und welche Maßnahme schlägst Du vor? asterix5
Keine regulären eMail-Adressen auf Webseiten angeben, sondern nur solche ... Borlander
asterix5 Borlander „Keine regulären eMail-Adressen auf Webseiten angeben, sondern nur solche die...“
Optionen

Meine Frage Und welche Maßnahme schlägst Du vor? war wohl zu kurz.

Ich wollte eigentlich wissen, welche Maßnahme Du vorschlägst, um spamcrawler nicht auf gewisse seiten zu führen ( ghartl1 ), wenn die robots.txt von vornherein ausscheidet, und wenn Du eine IP-Sperre in der .htaccess für ungeeignet hältst.

\"Als ich nach Deutschland kam, sprach ich nur Englisch - aber weil die deutsche Sprache inzwischen so viele englische Wörter hat, spreche ich jetzt fließend Deutsch!\" (Rudi Carrell)
bei Antwort benachrichtigen
Es gibt keine Maßnahmen mit der Du das zuverlässig ausschließen ... Borlander
In Jörgs Forum gibt s gerade eine Diskussion zum Thema: ... asterix5