百度是怎么抓取网站内容的？

百度是中国最大的一个搜索引擎网站，很多网站SEO的优化大部分都是针对百度的。那么百度是怎么收录抓取网站内容的呢？

其实这里面牵涉到一个名词叫做‘robot’，robot的是一个英文单词，在SEO中被翻译为‘机器人’‘探测器’，这个就是搜索引擎用来抓取网站内容的程序，以往我们这文章中说到‘百度蜘蛛’‘谷歌爬虫’其实都是指这个robot。

然而不光是百度、谷歌有robot，其他的搜索引擎也有自己的‘机器人’例如谷歌:googlebot  百度:baiduspider   MSN:MSNbot   Yahoo:Slurp  ，这些都是世界上一些很大的搜索网站的‘robot’。

这几个搜索中最形象的就是百度和雅虎了，百度机器人，用蜘蛛很形象的诠释了robot和网站建链接的形式，网站就如一张大网，百度蜘蛛就是和这个网上的一只蜘蛛；雅虎的机器人是一个象形词，它是根据机器人吃东西时发出的啧啧的声音而引申出来Slurp这个词的。

而所有的搜索引擎就是靠这些robot去抓取网站内容的，这些机器人就像是个搜索引擎的公务员，每天都会按时的去他们数据库收录的网站上去抓取新鲜的东西，这也是网站拥有更新带动器的必要性，因为机器人是拟人化的，它也是一个喜新厌旧的家伙，所以为了你网站好的排名，加快更新步伐吧···