对于搜索引擎网站来说，理论上可以爬动和引得互联网上的全部页面，可以不受限止的，不过实际是并不就是这样，搜索引擎网站因为遭受一点技术因素的限止，例如带宽、海量储存空间、响应速度等因素的限止，老是会优先爬动和引得一点网页，没可能不分主次的爬动和引得全部会面，那末它会优先爬动和引得哪一些页面呢?在它看来，并且是合理的，它会尽力爬动一点比较关紧的页面，那末引得是怎么确定地认为哪一些页面是比较关紧的因此优先爬动和引得呢?它普通会思索问题以下几个因素：

　　1、权重比较高的网站 前面已经说了，搜索引擎网站因为遭受一点因素的限止，老是会先爬动一点网页，网站的品质比较高、资格比较老的网站被它觉得是权重比较高的，这么的网站搜索引擎网站蛛蛛会先去爬动和引得的，所以我们要设法增长网站的权重。网站的权重是一个综合的指标，需求从各方面施行尽力尽量。搜索引擎网站搜索不惟优先爬动和引得权重较高的网站，并且对于权重高的网站，搜索蛛蛛也往往会爬动得较深一点。例如一点大的网站，例如新浪、网易、A5、OUT羭藎者等，对于新萌生的网站，老是会很快被收录的。就是由于他们的权重高。

　　2、页面的更新频率 搜索引擎网站蛛蛛每每来爬动网页的时刻，都会把数值记录下来，假如下次来爬动的时刻，页面没有变动，那末它为了节约带宽，就没有不可缺少来得那末次数多了，假如曾经是一周一次，那末它可能会半月来一次，更新的越少，它来的回数便会越少，假如你更新的频率比较高，并且更新的力量比较大的话，搜索引擎网站蛛蛛来会得比较次数多一点，例如假如曾经是一周一次，假如你更新的足够快，够次数多，它有可能会改为一周两次，一周三次....甚至天天儿快照。这个需求你去培育蛛蛛。

　　3、导入链接 搜索引擎网站蛛蛛是沿着链接来爬动网页的，要想页面被蛛蛛抓取，页面一定要导入链接，假如没有链接，蛛蛛就不会晓得你页面的存在。并且高品质的导入链接对页面的收录帮忙非常大。我们要给首页做外链，并且要把给内页也做外链，并且网站的内里链接要做好，有关的页面要相互链接起来，首页要有到栏目页的链接，栏目页要有到首页的链接和到内部实质意义页的链接，内部实质意义页要有到栏目页和到首页的链接，因此形成一个扁平的权型网状结构。这有帮助于搜索引擎网站对网站尽有可能多的页面的爬动和引得。