robots.txt文件放置于网站根目录下，搜索引擎蜘蛛访问一个网站后最新查看的就是robots文件，它就相当于你网站的“门卫”，如果“门卫”拒绝搜索引擎蜘蛛进入，则搜索引擎无法收录你网站的任何界面。

　　在“百度搜索帮助中心”(http：//www.baidu.com/search/robots.html)中，

　　对如何禁止百度蜘蛛访问是这样定义的：

　　User-agent：Baiduspider

　　Disallow：/

　　仅允许百度蜘蛛的访问：

　　User-agent：Baiduspider

　　Disallow：

　　禁止百度蜘蛛访问特定目录：

　　User-agent：*

　　Disallow：/cgi-bin/

　　Disallow：/tmp/

　　Disallow：/~joe/

　　结合这3种语法，我们再来看看网上流传的新浪博客的robots写法：

　　User-agent：Baiduspider

　　Disallow：/admin/

　　Disallow：/include/

　　Disallow：/html/

　　Disallow：/queue/

　　Disallow：/config/

　　其真正的目的只是禁止百度搜索引擎访问5个后台目录，和内容页并没有关系，因此说那个robots并不是封杀百度蜘蛛的，而是告诉百度蜘蛛要“去改去的地方”。

　　一个正确有效的robots文件可以帮助你更好的被百度收录，各位新手站在朋友如果对robots还不熟悉，可以到“百度搜索帮助中心”(http：//www.baidu.com/search/robots.html)下载标准案例，将里面的内容改成自己的网址即可。（宁波SEO编选）
 

　　推荐文章：

　　网站推广之四要点

　　浅谈新浪SEO策略

　　百度快照看上你网站的绝招

　　百度优化的7大禁忌草根站长应切记