2009-08-23 01:34:42 220.181.19.170 - 218.85.132.68 80 GET /404.htm
404;/underwear/Brand/Brand2.htm 200 sogou+spider
5)yodaoice:
对于这个,大家不要感觉惊讶,这是 163 新开发的搜索引擎,目前处于测试版,界面颇象 google 风格,但技术年幼,也象搜狗一样乱抓一通。2009-08-23 06:19:29 60.191.80.151 - 218.85.132.68 80 GET /404.htm
404;/underwear/4864.gif 200 yodaoice
那么多爬虫盯上我的网站,一方面高兴的是就爱 SEO 论坛的发展还得靠它们,另一方面郁闷的是有些不按规则来抓的对网站的访问会有造成不良的影响。 看看比前两周增长得多的日志文件就知道了。 这些只是 SEO 中常碰到的 HTTP 状态码,你可以到 W3C 站点了解更多