链接结构和爬虫爬行规模

若是希望网站能够吸引新的会见者，，，，，，在网站设计历程中，，，，，，网站设计者们应思量商业引擎网络爬虫的事情原理。。。。。。。关于商业引擎网络爬虫事情原理的详细细节，，，，，，外人知道得很少，，，，，，但可以从其一样平常事情原理中获得几点启示。。。。。。。

网络爬虫是沿着从网页文本中提取出来的链接爬行的，，，，，，任何一个网站都应含有足够的链接，，，，，，以便爬虫能够发明该站点所有的网页。。。。。。。更详细的讲，，，，，，爬虫很可能从网站的首页最先爬行，，，，，，因此，，，，，，网站首页上的链接应能够指向该网站所有的网页。。。。。。。另外，，，，，，这些链接必需包括在网页的HTML中，，，，，，且是标准的HTML(如，，，，，，使用锚点标签)，，，，，，由于爬虫可能识别不了其他名堂的链接，，，，，，包括JAVA或JavaScript名堂。。。。。。。

许多网站从未被任何搜索引擎发明过，，，，，，网站设计者们应该确保他们的网站能够让搜索引擎的“爬虫”发明。。。。。。。某些搜索引擎有URL提交功效，，，，，，即允许设计者们将其网站的URL提交到爬行列表中，，，，，，所有的主流搜索引擎都有这一功效；；；；；；；有些搜索引擎虽没有此功效，，，，，，但若是已经被索引过的网站中有指向未被索引到的网站的链接，，，，，，那么顺着链接，，，，，，爬虫也能爬取该网站。。。。。。。因此，，，，，，关于新网站而言，，，，，，应该确保至少有一个已经被主流搜索引擎索引到的网站链接到该网站。。。。。。。

搜索引擎程序怎样剖析网页文本

一个网页中的文本对搜索引擎来说，，，，，，比对用户更为主要。。。。。。。网页中的文本与链接主题无关，，，，，，但可以给出一些网站的总体印象，，，，，，这些网站里有些内容不肯被搜索引擎索引到，，，，，，以是，，，，，，在设计时专门提防着搜索引擎。。。。。。。此时，，，，，，需要区分“爬行”和“索引”这两个看法。。。。。。。爬行一个网站是指沿着链接会见该站点上所有的页面，，，，，，且一样平常会为这些网页生涯一个复本。。。。。。。索引则是爬行的下一个阶段，，，，，，即将网页文本存人到一个特殊的“倒排文档”数据库中，，，，，，使用“倒排文档”数据库，，，，，，可以快速搜索到与用户盘问相匹配的页面。。。。。。。标准搜索引擎一样平常只索引网页文本，，，，，，而忽略图片和其他多媒体信息。。。。。。。因此，，，，，，讨论搜索时就应该区分文本和图片。。。。。。。

用户在会见网站的时间，，，，，，从图片中获得的信息比从文本中获得的信息更直观。。。。。。。举一个极端的例子，，，，，，一个来自着名公司的图标放在页面中显眼的位置，，，，，，就足以说明该网页是该公司的。。。。。。。相反，，，，，，搜索引擎则是忽略所有图片的，，，，，，至少在从网页中提守信息时是这样的。。。。。。。若是一个网页上都是鞋子的图片，，，，，，但其文本中却没有一个“鞋”字，，，，，，那么，，，，，，搜索引擎不知道这个页面是关于鞋子的。。。。。。。这就说明，，，，，，网站的设计者们需要确保页面中含有形貌该站点主题内容的词语。。。。。。。

一些更智慧的要领可以用来资助搜索引擎来判断该页面是关于鞋子的。。。。。。。Google首先提出了这样的要领：若是有其他页面链接到含有鞋子图片的页面，，，，，，且锚文本中也提到鞋子，，，，，，这便证实该图片页面是和鞋子相关的。。。。。。。另外，，，，，，有一些细腻的要领，，，，，，如潜在语义剖析，，，，，，可以凭证主题同义词，，，，，，或其他与主题相关的词来推测一个网页的主题。。。。。。。例如，，，，，，若是一个页面中含有“靴子”，，，，，，或其他与鞋子相关的词(如“鞋带”和“鞋底”)；；；；；；；那么，，，，，，这便足以说明该页面是和鞋子相关的。。。。。。。然而，，，，，，网络设计者们不可依赖使用这些先进手艺的搜索引擎，，，，，，因此，，，，，，应该包管他们站点的要害页面中含有大宗与主题相关的文本信息，，，，，，可以吸引会见者。。。。。。。虽然，，，，，，这些文本应该在站点页面的HTML中，，，，，，而不是在图片，，，，，，或Java程序或多媒体形式的前言中。。。。。。。

知道搜索引擎处置惩罚网页的历程，，，，，，有益于相识它们是怎样寻找相关网页的。。。。。。。似乎所有的商业搜索引擎都接纳了向量空间模子，，，，，，或是它的变体，，，，，，向量空间模子一样平常是与其他手艺团结在一起使用的。。。。。。。向量空间模子将所有的网页都转换到一个无序的词库中，，，，，，每个页面都用一个列表体现，，，，，，列表中是页面里各个词泛起的频率。。。。。。。稍后，，，，，，会用数学公式将词频转换为权重，，，，，，该数学公式能够付与文档中词频较高的词语较高的权重。。。。。。。同时，，，，，，也会给有数词语付与较高的权重。。。。。。。