Viren, Spyware, Datenschutz 11.218 Themen, 94.243 Beiträge

Verfolgung starten Optionen

robots.txt..verständnisfrage

ghartl1 / 11 Antworten / Flachansicht Nickles

hallo,

wird die datei robots.txt auch dazu verwendet, um spamcrawler nicht auf gewisse seiten zu führen?

gewissermassen als eine schutzmassnahme ?

bei Antwort benachrichtigen
Hallo! Naja, die guten Scanner halten sich dran. Den bösen ist das so was ... ChrE
Ich kann mir nicht vorstellen, dass ein Spamcrawler sich um das schert, was ... Max Payne
Das kannst Du über Einträge in der .htaccess lösen nach folgendem Schema: ... asterix5
123.45.67.890 Ist das die IP-Adresse von DEM Spam-Crawler? - Über eine ... Borlander
asterix5 Borlander „ Ist das die IP-Adresse von DEM Spam-Crawler? - Über eine IP-Sperre wirst Du...“
Optionen

Ich selbst hab's nicht getestet, hatte bisher auch keine Veranlassung dazu. Jedenfalls wird diese Vorgehensweise über die .htaccess in SEO-Foren empfohlen.

Der Versuch, solche Leute über die robots.txt auszusperren, ist mit Sicherheit der falsche Weg, weil die Einhaltung des robots.txt-Standards auf Freiwilligkeit beruht.

Die gewählte Nummer 123.45.67.890 sollte nur deutlich machen, wie eine IP-Adresse aufgebaut ist. Eine Übereinstimmung mit einer tatsächlich vorhandenen Nummer wäre rein zufällig und von mir nicht beabsichtigt.

Eine Auflistung von tatsächlichen Nummern und ihre Zuordnung gibt's in jedem guten SEO-Forum.

\"Als ich nach Deutschland kam, sprach ich nur Englisch - aber weil die deutsche Sprache inzwischen so viele englische Wörter hat, spreche ich jetzt fließend Deutsch!\" (Rudi Carrell)
bei Antwort benachrichtigen
123.45.67.890 ... Eine Übereinstimmung mit einer tatsächlich vorhandenen ... Borlander
Und welche Maßnahme schlägst Du vor? asterix5
Keine regulären eMail-Adressen auf Webseiten angeben, sondern nur solche ... Borlander
Meine Frage Und welche Maßnahme schlägst Du vor? war wohl zu kurz. Ich ... asterix5
Es gibt keine Maßnahmen mit der Du das zuverlässig ausschließen ... Borlander
In Jörgs Forum gibt s gerade eine Diskussion zum Thema: ... asterix5