搜索引擎处理(lǐ)大量的网页(yè)。/ 【成都南奇SEO网站优化】一方面，為(wèi)了节省带宽、计算和存储资源，另一方面，為(wèi)了满足用(yòng)户的搜索需求，使用(yòng)有(yǒu)限的资源来捕获有(yǒu)价值的网页(yè)，因此搜索引擎在处理(lǐ)大量网页(yè)时会有(yǒu)一定的策略。本文(wén)简要介绍了网络爬行的主要策略，如广度优先、深度遍历策略、非重复爬行策略、大站点优先策略、不完全pagerank策略、OCIP策略、协同爬行策略。

深度优先，深度优先的遍历策略；广度优先的原因是重要的网页(yè)往往接近种子网站；万维网的深度没有(yǒu)我们预期的那么深，而是出乎意料的深（中(zhōng)國(guó)万维网只有(yǒu)17个直径和長(cháng)度，即在任意两个网页(yè)之间可(kě)以访问17次）；多(duō)履带协同抓取深度优先的不利结果：容易使履带陷入死區(qū)，不应重复抓取；不应抓住机会；

解决上述两个缺点的方法是深度优先抓取和非重复抓取策略；防止履带从无限期地以宽度优先抓取，必须在一定的深度抓取。达到此深度即万维网的直径和長(cháng)度后，限制程度并停止抓取。当爬行停止在深度时，那些太深而没有(yǒu)爬行的页(yè)面总是期望从其他(tā)种子站点更经济地到达。

限制抓取深度会破坏死循环的条件，即使循环发生，也会在有(yǒu)限的次数后停止。评价：宽度优先、深度优先的遍历策略可(kě)以有(yǒu)效地保证爬行过程的紧密性，即在爬行过程（遍历路径）中(zhōng)，总是对同一域名(míng)下的网页(yè)进行爬行，而对其他(tā)域名(míng)下的网页(yè)则很(hěn)少。

无重复抓取策略保证了一个变化不大的网页(yè)只能(néng)被抓取一次，防止重复抓取占用(yòng)大量的CPU和带宽资源，从而集中(zhōng)有(yǒu)限的资源區(qū)域来抓取更重要、更高质(zhì)量的网页(yè)。Larser网站优先通常是大型网站的高质(zhì)量内容，网页(yè)质(zhì)量一般较高。从网站的角度衡量网页(yè)的重要性有(yǒu)一定的依据。对于要爬网的URL队列中(zhōng)的页(yè)面，下载优先级由等待下载的页(yè)面数决定。

下载页(yè)面（不完整Internet页(yè)面的子集）的部分(fēn)pagerank策略（部分(fēn)pagerank）与待爬行的URL队列中(zhōng)的URL一起形成一组页(yè)面，并在集合中(zhōng)计算pagerank；经过计算，待爬行的URL队列中(zhōng)的页(yè)面根据pagerank得分(fēn)由高到低排序，形成一个SE。那是履带式拼接。应依次向下爬行的URL列表。由于pagerank是一种全局算法，即当所有(yǒu)的页(yè)面都被下载时，计算结果是可(kě)靠的，但是爬行器在爬行过程中(zhōng)只能(néng)接触到部分(fēn)页(yè)面，所以爬行时不能(néng)进行可(kě)靠的pagerank计算，所以称為(wèi)不完全pagerank策略。

OCIP策略（在線(xiàn)页(yè)面重要性计算）字面意思是“在線(xiàn)页(yè)面重要性计算”，这是一种改进的pagerank算法。在算法开始之前，每个Internet页(yè)面都被分(fēn)配相同的值。当一个页(yè)面p被下载时，p将它自己的值平均分(fēn)配给页(yè)面中(zhōng)包含的链接，同时清除它自己的值。对于要爬网的URL队列中(zhōng)的网页(yè)，优先考虑根据现有(yǒu)值的大小(xiǎo)下载值较大的网页(yè)。

协同爬行策略（爬行加速策略）可(kě)以通过增加爬行器的数量来提高整體(tǐ)的爬行速度，但工(gōng)作(zuò)负载需要分(fēn)解為(wèi)不同的网络爬行器，以确保分(fēn)工(gōng)清晰，防止多(duō)个爬行器在同一页(yè)面上爬行，浪费资源。

通过分(fēn)解网络主机的IP地址，让爬虫只抓取中(zhōng)小(xiǎo)型网站的一个网页(yè)段，出于经济原因，通常在一台服務(wù)器上提供不同的网络服務(wù)，使多(duō)个域名(míng)对应一个IP段；而新(xīn)浪、搜狐等大型网站通常使用(yòng)负载均衡的IP gro。向上技(jì )术，同一域名(míng)对应多(duō)个。IP地址。因此，这种方法不方便。通过分(fēn)解网页(yè)的域名(míng)，爬虫只能(néng)对网页(yè)的域名(míng)部分(fēn)进行爬虫，并為(wèi)不同的爬虫分(fēn)配不同的域名(míng)。

从广度优化抓取策略研究搜索引擎蜘蛛爬行规则-成都seo优化-成都网站优化   /seoyouhuapaiming/7319.html