知道了什么是百度蜘蛛,那么怎么才能知道蜘蛛是否来过你的站?
这个可以从你服务器或者虚拟主机的日志中看出来,
比如我用的虚拟主机的完整使用日志中有这样的记录:
220.181.38.198 - - [11/Nov/2007:04:28:29 0800] "GET / HTTP/1.1" 200 61083 "-" "Baiduspider ( http://www.baidu.com/search/spider.htm)"
这就说明百度蜘蛛来过我的站了,
如果你还想知道有没有其它搜索引擎的蜘蛛来过你的站,
你可以在日志文件中搜索“spider”这个词,或者搜索蜘蛛的IP,我的就查到sogou也来过我的站,
IIS日志与Apache的日志是一样的,都可以查到。
各类蜘蛛IP收集,不一定完全准确。
序号