百度和google是站长们的衣食父母，而做好搜索引擎优化的第一步就是蜘蛛的抓取，以下5条简单的Linux命令可以让你清楚的了解蜘蛛的爬行情况做到有的放矢。
请首先看看日志文件的大小，如果特别大的话(比如：超过50MB)建议不要用这些命令分析，因为这些命令较消耗CPU，或者抓下来放到分析机上执行，以免影响网站的速度。如果是Dreamhost等共享主机的话，分析大日志很消耗CPU，进程很容易被Kill掉。
这些命令都是Linux下的shell命令，在Windows主机下无法执行。
一 百度蜘蛛爬行的次数
cat access.log.2009-04-18 | grep Baiduspider+ | wc
本文中的每条命令把Baiduspider+改成Googlebot都可以查看Google的对应的数据。
附：(Mediapartners-Google)Google adsense蜘蛛的详细爬行记录
cat access.log.2009-04-18 | grep Mediapartners
Mediapartners-Google是什么?Google adsense广告之所以能与内容相关，就是因为每个包含着adsense的广告被访问后，几秒钟内就有一个Mediapartners-Google蜘蛛来到这个页面，所以几分钟后再刷新就能显示相关性广告了。
