搜索引擎通过robot（又称spider）自动访问互联网上的网页并获取网页信息。 站长可以在网站中创建一个纯文本文件robots.txt并且放在网站根目录下，在这个文件中声明该网站中不想被robot访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。
　　至于怎样写robots.txt,可以参考baidu说明和google说明。虽然说明很详尽，但是很多新手看了却还是不知所云，即使懂了也不敢自己去写，惟恐写错了造成不必要的麻烦，因此很多站点其实还没有robots.txt文件。
但是有了这个在线自动生成工具则使我们的工作方便多了，列出了Google   MSN   Yahoo  Ask/Teoma   DMOZ Checker   Alexa  以及Baidu 在内的搜索引擎，还包括了Google Image   MSN PicSearch    Yahoo Blogs 等一些搜索，你可以对这些一一进行设定，另外各大搜索引擎都发布了对网站地图的新的支持方式，就是在robots.txt文件里直接包括sitemap文件的链接。在这个工具里也添加了对sitemap的支持。

　　链接：http://www.mcanerin.com/EN…