搜索引擎优化的事情者关于Robots.txt文件，，，，，，应该说并不生疏。。。。。由于在有些情形下，，，，，，我们并不想让网站的所有文件都让搜索引擎收录。。。。。好比说一些网站后台治理目录、会员隐私信息、没有价值的网页等，，，，，，我们都不妄想让搜索引擎的蜘蛛爬取。。。。。在这种情形下，，，，，，我们就有须要会用到Robots.txt文件，，，，，，来与搜索引擎相同。。。。。

详细的方法是通过在网站根目录建设名为:Robots.txt的文件,你就可以阻止蜘蛛来索引网站的某些内容，，，，，，如动态的搜索结构页面(好比说,STAKE中国官方网站榨取搜索引擎收录STAKE中国官方网站搜索结构页面。。。。。http://www.seo.com.cn/robots.txt)、404页面、图片目录、上岸页面等。。。。。

所有的搜索引擎蜘蛛自动在网站根目录中寻找这个文件，，，，，，因此，，，，，，你需要做的只是建设它并上传，，，，，，然后期待蜘蛛来阅读。。。。。Robots.txt文件没有以任何方法来；；；；；；；；つ愕哪谌荩，，，，，只是阻止搜索引擎索引。。。。。

下面，，，，，，STAKE中国官方网站主要说明下Robots.txt文件的写法。。。。。

1.若是你站点中的所有文件，，，，，，都可以让蜘蛛爬取、收录的话，，，，，，那么语法这样写:

User-agent: *
Disallow:

其时，，，，，，若是你网站中所有的文件都可以让搜索引擎索引的话，，，，，，你也可以不管这个文件。。。。。

2.完全榨取搜索引擎来访的Robots.txt文件写法:

User-agent: *
Disallow: /

2.1.要榨取掉某个搜索引擎来访的Robots.txt文件写法:

User-agent: Googlebot
Disallow: /

3.网站中某个文件夹不希望让搜索引擎收录的Robots.txt文件写法:

User-agent: *
Disallow: /admin/
Disallow: /images/

4.榨取Google抓取网站中的图片文件:

User-agent: Googlebot
Disallow: /*.gif$

Robots.txt文件，，，，，，是网站与搜索引擎相同的较量主要的一个方法。。。。。若是你对此尚有疑问的话，，，，，，欢迎通过邮件的方法，，，，，，与我们相同交流。。。。。cyz(#)seo.com.cn