Wie nun auch Golem.de berichtet, lässt sich über die Webmaster Tools von Google steuern, ob der Such-Robot häufiger oder weniger oft vorbeischauen soll.
Wenn das doch bei Yahoo ginge. Hier ist man aber einem hoffnungslos dummen Robot ausgeliefert: Ich hatte schon den Fall, dass er immer wieder nicht vorhandene Seiten abrufen wollte. Daraufhin habe ich ihn über die robots.txt ausgesperrt. Daran hat er sich aber nicht gehalten. Erst mehrere E-Mails an die dem IP-Adressen Bereich zugewiesene Abuse-E-Mail Adresse führte nach mehreren Tagen zum Erfolg. Der Robot fragt nun im Sekunden-Takt die robots.txt ab….
Hallo,
bei schauen die Robots fast jeden tag (Google, MSN, Yahoo…) vorbei nur dass google-robot nicht alle seiten indexiert! Warum??? Alle Seiten sind optimiert und ohne Spam.