Auf dem Google Webmaster-Blog ist ein Artikel erschienen, in dem erklärt wird, wie man als Webmaster den GoogleBot verifizieren kann.

Als Webmaster kämpft dagegen an, dass Spammer-Crawler oder -Spider die eigenen Webseiten auf Emails scannt oder die Inhalte für andere Webseiten „klaut“. Oftmals kommen solche Programme als GoogleBot getarnt auf die eigenen Webseiten.

Wie man verifizieren kann, dass der GoogleBot auch tatsächlich der richtige ist, wird von Matt Cutts in dem Artikel auf dem Google Webmaster-Blog erklärt.

Link zum Artikel