这个是我学习SEO中遇到的最难学的一些技术活了，但是没办法，还是要掌握。因为SEO优化中必须用到；

robots.txt的书写

robots上一篇我们有讲到，就是搜索引擎的机器人，百度要做蜘蛛，而robots.txt就是和这些机器人对话的语言。例如我们的网站还没有建设完成时，就不想让搜索引擎来到网站页面抓取内容，因为是再建设中，网站很多内容还没有确定下来，如果召来搜索引擎抓取，就会本人为网站不稳定，对延长后期网站收录的时间，还有就是我们网站的后台有很多信息也不想让搜索引擎看到，像登录信息等机密信息，所以在这个时候，就需要给搜索引擎下一个指令，明白告诉它，我的网站现在正在建设，请稍后再来。

robots.txt的一般写法如下：

User-agent: *
Disallow: /admin/
Disallow:
/old/love/
Disallow: /007.html

以上信息对搜索引擎说明 网站的admin登录信息不能抓取，007.html网页不能抓取，如果网站所有的内容都不想被搜索引擎抓取就写成

User-agent: BaiduspiderDisallow: /
User-agent: baiduspider
Disallow: /

这个写法是淘宝全面封杀百度蜘蛛的写法，我们可以照抄下来的。

写完后保存为.txt格式，上传到ftp网站的根目录下就可以了。

 

 

 

                                                                                                                          

 

声明：本站分享的WordPress主题/插件均遵循 GPLv2 许可协议（免费开源），相关介绍资料仅供学习参考，实际版本可能会因版本迭代或开发者调整而产生变化，如程序中涉及有第三方原创图像、设计模板、远程服务等内容，应获得作者授权后方可使用。本站不提供该程序/软件的产品授权与技术服务，亦不收取相关费用。