|
|
一、GOOGLE搜索引擎蜘蛛的等级
首先先谈下GOOGLE蜘蛛起源。
当GOOGLE搜索引擎刚建立之初，就拥有这一个非常强大的的服务器，其每天放出大量的蜘蛛，我们称为1号蜘蛛，其抓取量抓取速度是非常的快，对其整个互联网每天进行信息进行的采集，可见服务器的速度是多少快，其实最主要的是后期GOOGLE将服务器延伸到了很多城市，所以现在你能发现GOOGLE的运算速率是超前的快。
服务器将采集的信息分类，整理到庞大的数据库。其中有个数据库都是用来存网站域名的。域名只要被搜索引擎索引到，将自动存入此数据库。此数据库是1号蜘蛛的核心。
其内部分为10个PR各等级的小数据库，虽说小数据库，但也是大的可怕。10个等级的数据库 其周期也不同，基本上以一个PR=4的网站来讲 1号蜘蛛爬行的概率也在7天一次。所以基本你也会发现收录有大的幅度也是在7天内的某一天 。
细心的站长会发现其实有时候7天还是蛮准的，但只针对PR=4。越是PR高其周期越是短，越是PR低周期越长，当然说到这很多站长有这样的疑惑。会觉得蜘蛛有时天天收录他的站这里对其收录的也就是接下来要说的2号蜘蛛，2号蜘蛛往往是在1号蜘蛛爬行过程中放出去的，主要针对于被1号蜘蛛爬过的网站的外部链接。PS既然都说是2号蜘蛛 肯定其抓取力度要比1号小很多。
二、当然不只是有2号，还有3号蜘蛛
所谓3号也就 A站1号蜘蛛爬行到B站，B站的2号蜘蛛爬行到C站。
目前GOOGLE为了限制其无限的循环对于蜘蛛只分为这三个等级。并对其等级的抓取率有个很明确的标准，而且2号与3号蜘蛛有个抓取特点 基本以时间的先后顺序进行抓取。
三、 比方讲
A网站被1号蜘蛛爬行后的一篇文章最后时间为 2008-12-12，那当A网站被从别的网站过来的2号蜘蛛给爬行，首先有可能会对其收录的是，最近发表的几篇文章如： 2008-5-31等 2008-5-30等文章将会进行第2次，第3次的访问，之后再爬行2008-12-12以后的信息。如果你网站没有任何更新，它将对其近一个月内的更改内容进行2次爬行。
如果外部来的2号与3号蜘蛛越多，同一篇文章有可能会被爬上好几次。
以下为GOOGLE提供的官方数据。 |
|
IP卡
狗仔卡
发表于 2008-12-13 20:59:17
QQ好友和群
QQ空间
腾讯微博
腾讯朋友
收藏
转播
分享
淘帖
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
显身卡
