hallo,
wird die datei robots.txt auch dazu verwendet, um spamcrawler nicht auf gewisse seiten zu führen?
gewissermassen als eine schutzmassnahme ?
![](/thumbnails/75x75/user/avatar/default_avatar.jpg)
hallo,
wird die datei robots.txt auch dazu verwendet, um spamcrawler nicht auf gewisse seiten zu führen?
gewissermassen als eine schutzmassnahme ?