Homepage selbermachen 7.852 Themen, 35.619 Beiträge

Verfolgung starten Optionen

Der Googlebot wird durch robots.txt blockiert

mudsharkz / 7 Antworten / Baumansicht Nickles

Ich habe meine webseite mobilgeräte tauglich gemacht und folgende robots.txt:

User-agent: Googlebot
Allow: .js
Allow: .css

und dann mit der google Testseite getestet:

https://search.google.com/search-console/mobile-friendly?utm_source=mft&utm_medium=redirect&utm_campaign=mft-redirect&hl=de

Ich erhalte dann nachfolgende Meldung:

Frage: Stimmt meine robots.txt oder dauert das noch bis google die neue robots.txt erkennt ? ich hab sie vor knapp 20 Stunden erstellt.

Die fragliche Zeile die hier beanstandet wird ist die einblendung für Google Werbung

das hier ist die fehlermeldung:

Eine Seitenressource konnte nicht geladen werden

Ressource Typ Status
https://pagead2.googlesyndication.com/pagead/js/adsbygoogle.js Skript Der Googlebot wird durch robots.txt blockiert
bei Antwort benachrichtigen
gelöscht_101060 mudsharkz „Der Googlebot wird durch robots.txt blockiert“
Optionen

Servus,

das dürfte ein Logikfehler sein - du erlaubst hier ja nur für den Bot mit dem namen Googlebot die Indizierung von 2 Dateien, nämlich .js und .css; den Rest verwehrst du!

Korrekt ist es, wenn du in der Robots.txt festlegst, welche Verzeichnisse bzw. Datein darin nicht indiziert werden soll - wie das geht, steht ganz gut unter https://wiki.selfhtml.org/wiki/Grundlagen/Robots.txt

BG, Bergi2002

bei Antwort benachrichtigen
mudsharkz gelöscht_101060 „Servus, das dürfte ein Logikfehler sein - du erlaubst hier ja nur für den Bot mit dem namen Googlebot die Indizierung von ...“
Optionen

????

Und wie muss meine robots.txt dann sein damit google nicht mosert ?

bei Antwort benachrichtigen
gelöscht_101060 mudsharkz „???? Und wie muss meine robots.txt dann sein damit google nicht mosert ?“
Optionen

Servus

das kommt ein bisschen darauf an, was du genau willst - wenn es nur darum geht, dass Google sich die Seite anschauen kommt, dann brauchst du eigentlich keine robots.txt; wenn es aber im gewisse Verzeichnisse geht, welche vom Google Sucheindex nicht erfasst werden sollen, dann musst du diese halt entsprechend in der Robots-eintragen.

Ansonsten kannst du die Aufnahme in den Suchindex beschleunigen, indem du die Seite entsprechend bei Google "anmeldest" - geht via https://support.google.com/webmasters/answer/6259634 - Punkt Add your URL

BG, Bergi2002

bei Antwort benachrichtigen
mudsharkz gelöscht_101060 „Servus das kommt ein bisschen darauf an, was du genau willst - wenn es nur darum geht, dass Google sich die Seite anschauen ...“
Optionen

genau das hab ich doch getan

ich hab doch die gewissen verzeichniss eingetragen in die robot.txt, und trotzdem mosert er rum ! Die wird beanstandet

https://pagead2.googlesyndication.com/pagead/js/adsbygoogle.js

und damit habe ich es erlaubt:

User-agent: Googlebot
Allow: .js
Allow: .css

wenn ich die robot.txt ganz weglasse mosert google komischerweise auch !!!!

und in den suchverzeichnissen bin ich längst drin, um das geht es gar nicht

bei Antwort benachrichtigen
gelöscht_101060 mudsharkz „genau das hab ich doch getan ich hab doch die gewissen verzeichniss eingetragen in die robot.txt, und trotzdem mosert er ...“
Optionen

Ok, verstanden, dann bin ich ab jetzt leider raus...

BG, Bergi2002

bei Antwort benachrichtigen
mumpel1 mudsharkz „genau das hab ich doch getan ich hab doch die gewissen verzeichniss eingetragen in die robot.txt, und trotzdem mosert er ...“
Optionen

Hallo!

Es kann schon mal ein paar Tage bis Wochen dauern bis Google mal wieder etwas anzeigt.

Gruß, René 

bei Antwort benachrichtigen
QP-Soldier mumpel1 „Hallo! Es kann schon mal ein paar Tage bis Wochen dauern bis Google mal wieder etwas anzeigt. Gruß, René“
Optionen

Hallo mudsharkz,

ich hoffe, ich kann helfen. Zunächst mal muss ich Bergi2002 zustimmen, sofern du nichts von deiner Website verbergen möchtest, solltest du die Robots.txt nicht nutzen. Die Robot.txt ist nur dazu da um Bereich für die Suchmaschinen zu blockieren. Hier ist noch ein Artikel, der das genauer erklärt: https://hosting.1und1.de/digitalguide/hosting/hosting-technik/indexierungsmanagement-mit-der-robotstxt/

Folgendes sagt der Artikel auch:

„Zu beachten ist, dass die robots.txt von Suchmaschinen lediglich als Richtlinie verstanden wird. Erzwingen lässt sich ein bestimmtes Crawling-Verhalten durch Angaben in der robots.txt nicht.“

Natürlich kannst du ALLOW-Befehle geben, aber das bringt leider nichts, da google von NAtur aus davon ausgeht, dass es die URL crawlen darf. Indem du deine Website bei google anmeldest, ist deine Arbeit getan. Ab dann heißt es warten bis der Crawler kommt. Was mich zum nächsten Punkt führt, manchmal kann es Ewigkeiten dauert bis der Crawler kommt. Glaub mir, ich habe auch schon die ein oder andere Seite aufgezogen und weiß, wie das ist, jeden Tag zu checken, ob die Seite denn endlich bei google angezeigt wird. Geduld ist hier die Devise.

Dein Post ist von Mitte Mai also hoffe ich, dass sich das Problem bereits geklärt hat. Falls nicht, sag uns doch bitte, wie deine Website heißt, dann kann man genauer nachhaken, ob vielleicht technisch irgendetwas schief läuft.

Gruß, QP

bei Antwort benachrichtigen