hallo,
wird die datei robots.txt auch dazu verwendet, um spamcrawler nicht auf gewisse seiten zu führen?
gewissermassen als eine schutzmassnahme ?
Viren, Spyware, Datenschutz 11.252 Themen, 94.780 Beiträge
Es gibt keine Maßnahmen mit der Du das zuverlässig ausschließen könntest, ohne auch normale User auszusperren!