搜索器在事情历程中主要需思量以下几个问题：

(1)Web信息的选择

在大大都情形下，，，，，，，搜索器不可能搜集所有Web信息，，，，，，，只能选择下载其中一部分。。。。。。。。这样，，，，，，，怎样下载较量“主要”的Web信息就是一个很现实的问题。。。。。。。。判断一个网页是否主要的依据主要有兴趣驱动、盛行性驱动和位置驱动三个指标。。。。。。。。

(2)Web页面的更新频率

当网页被下载后，，，，，，，搜索器应以一定的频率对所有网页举行刷新或对网页重新会见，，，，，，，其频率应与网页自身更新的频率相顺应，，，，，，，但不是成正比。。。。。。。。

(3)镌汰搜索器对Web服务器的肩负

当许多搜索器在事情时，，，，，，，将大大消耗服务器资源，，，，，，，对Web服务器而言是一个不小的肩负，，，，，，，怎样镌汰服务器肩负和阻止壅闭也是设计搜索器应该思量的问题。。。。。。。。例如，，，，，，，有的搜索引擎与网站告竣协议，，，，，，，只有在网站服务器端安排特殊标记文件，，，，，，，搜索器才收罗，，，，，，，有的网站服务器凭证搜索器的要求建设索引文件，，，，，，，搜索器只收罗这个索引文件即可。。。。。。。。

(4)并行事情

由于网页数目重大，，，，，，，许多搜索器在多台机械上事情，，，，，，，并行下载网页，，，，，，，从而使得在最短的时间内下载更多的网页，，，，，，，而这些并行事情的搜索器必需协同事情，，，，，，，以便使得差别搜索器不会重复会见。。。。。。。。并行事情处置惩罚的优劣，，，，，，，将直接影响搜索器的效率。。。。。。。。

现在的搜索引擎蜘蛛已经不在是以前的发明一张网页，，，，，，，并收录。。。。。。。。现在网页的收录，，，，，，，将比以往越发严酷。。。。。。。。以前搜索引擎蜘蛛面临的问题是大部分站点的网页不太友好，，，，，，，倒运于搜索引擎的蜘蛛爬取。。。。。。。。而现在的问题，，，，，，，网页的路径很友好，，，，，，，可是搜索引擎蜘蛛需要区分其价值，，，，，，，从而再决议要不要收录。。。。。。。。也正是这个缘故原由，，，，，，，让许多内容主要是靠收罗可是网站结构很有利于搜索引擎蜘蛛爬行的网站，，，，，，，并没有获得搜索引擎大宗收录的缘故原由。。。。。。。。

通过网站结构、外部链接等因向来增进搜索引擎的收录，，，，，，，依然是主要的要领之一。。。。。。。。可是相较量而言，，，，，，，现在搜索引擎已经不那么依赖这两者的作用了。。。。。。。。以是对SEO来说，，，，，，，难度已经显着增添。。。。。。。。