Googlebot

Googlebot是Google的web 抓取漫游器。它从web上收集文档，为Google搜索引擎建立可搜索的索引。 是google的机器人的意思，俗称google爬虫。

我们听到最普遍的要求是把Googlebot的IP地址列表公布给大家。这个做法的问题是，如果/当我们的抓取工具的IP地址范围改变时，并非每个人都知 道去检查。事实上，爬行组几年前搬迁过Googlebot的IP地址，他们遇到的一个真正的麻烦是提醒一些把Googlebot的IP范围写在他们的程序 里的网管们。所以爬行组的成员们提供了另一种方法来验证Googlebot。这里是爬行组成员们提供的一个答案（经他们同意在此引述） ：

google的“蜘蛛”程序为“Googlebot”，属于非常活跃的网站扫描工具。google一般每隔28天派出“蜘蛛”程序检索现有网站一定ip地址范围的新网站。登陆google的周期一般为3个星期（从提交网站到被检索）。