Google lässt sich steuern, Yahoo muss man ertragen …

Wie nun auch Golem.de berichtet, lässt sich über die Webmaster Tools von Google steuern, ob der Such-Robot häufiger oder weniger oft vorbeischauen soll.

Wenn das doch bei Yahoo ginge. Hier ist man aber einem hoffnungslos dummen Robot ausgeliefert: Ich hatte schon den Fall, dass er immer wieder nicht vorhandene Seiten abrufen wollte. Daraufhin habe ich ihn über die robots.txt ausgesperrt. Daran hat er sich aber nicht gehalten. Erst mehrere E-Mails an die dem IP-Adressen Bereich zugewiesene Abuse-E-Mail Adresse führte nach mehreren Tagen zum Erfolg. Der Robot fragt nun im Sekunden-Takt die robots.txt ab….

One thought on “Google lässt sich steuern, Yahoo muss man ertragen …”

  1. Hallo,

    bei schauen die Robots fast jeden tag (Google, MSN, Yahoo…) vorbei nur dass google-robot nicht alle seiten indexiert! Warum??? Alle Seiten sind optimiert und ohne Spam.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *