Hi Leute,
ich hab eben in die access_log meines servers gekuckt und sehe, wie einige (bekannte) suchdienste immer auf die datei "robots.txt" zugreifen wollten. In meiner Serverstatistik ist diese Datei die Nr. 1 der nichtgefundenen Dateien (Not-Found-Chart).
Deshalb wollte ich wissen, was das für eine Datei ist, und ob ich damit in den Suchmaschinen bessere Chancen habe.
THX,
Kreckmenn
Anonym
