抓取网页数据互联网的信息呈爆发式的增加，那么怎么有用的获取并使用这些信息，这是查找引擎作业中的首要环节，数据抓取体系作为整个体系中的上游，它首要担任互联网信息的搜集、保存、更新的环节，想蜘蛛相同在网络间爬来爬去，因而一般叫做Webspider也就是网络蜘蛛或者是Robot机器人。
常见的查找引擎抓取程序：Baiduspider（百度蜘蛛）、360spider（360蜘蛛）、SougouWebSpider（搜狗网络蜘蛛）、Googlebot（谷歌机器人）。spider抓取它是从一些重要的url开端，经过页面上的超链接联系不断的发现新的url并进行抓取，它会尽最大的或许抓取到更多有价值的网页。
树立索引库其实查找引擎的蜘蛛抓了多少页面并不是最重要的，重要的是有多少页面被建索引库。索引库层级：优质的网页会被分配到重要的索引库，一般的网页会待在一般库，较差的网页会分配到初级库中充任弥补资料。现在60百分之的检索需求只需调用优质索引库即可满意。
哪些网页能够进入优质的索引库：有时效性且有价值的页面、内容优质的专题页面高价值原创内容页面重要的个人页面页面排序用户经过关键词进行检索，查找引擎在排序环节要做的是把相关的网页从索引库中提取出来，把提取出来的不同网页依照不同的纬度结合相关要素进行归纳排序。
