Microsoft ist anscheinend daran interessiert, die eigenen Suchmaschinenergebnisse aktueller zu gestalten. So kündigten sie an, dass es ab Frühjahr 2008 mehr Traffic der MSNBots geben würde.

Gleichzeitig wurden Webmastern die richtigen Einstellungen für die robots.txt mitgegeben, um die Crawl-Geschwindigkeit der MSNBots zu kontrollieren.

Wie man die Crawl-Geschwindigkeit der MSNBots kontrolliert

Microsoft gibt Webmastern einige Angaben für die robots.txt an die Hand, die verhindern sollen, dass die MSNBots Webseiten durch ihre hohe Crawl-Geschwindigkeit lahm legen. Zur selben Zeit warnt man aber auch vor schlechterem Ranking im Index, wenn zu lange Wartezeiten zwischen zwei Requests eingestellt würden.

HTTP Conditional GET und HTTP Compression sollten aktiviert sein, um die Übertragung von Daten zu beschleunigen.


Slow (5 Sekunden warten zwischen zwei Requests)
Crawl-delay: 5

Really Slow (10 Sekunden warten zwischen zwei Requests)
Crawl-delay: 10

Link
via