百度Spider的User-Agent字段已基本更新
作者：visc 发布时间：June 8, 2011 分类：技术 标签：: 百度蜘蛛, 百度Spider, User-Agent
近期在观察IIS日志的发现，百度蜘蛛的User-Agent字段已基本更新为新的。
不过老的仍旧存在，主要集中在对网站首页以及robots.txt的抓取。
附上百度针对百度Spider User-Agent字段更新的官方通知：
更换时间：
2011年5月10日更换内容：
baiduspider在爬取网页时，发送请求的User-Agent字段内容将更新。
目前的字段内容是
Baiduspider+(+http://www.baidu.com/search/spider.htm)
更换后的字段内容是
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
全文