blog.weisaiweb.com blog.weisaiweb.com

linux nginx 怎么查看蜘蛛日志呢

in 服务器read (192) 文章转载请注明来源!
  1. 百度蜘蛛爬行的次数

    cat access.log | grep Baiduspider | wc

最左面的数值显示的就是爬行次数。

  1. 百度蜘蛛的详细记录(Ctrl C可以终止)

    cat access.log | grep Baiduspider

也可以用下面的命令:

cat access.log | grep Baiduspider | tail -n 10
cat access.log | grep Baiduspider | head -n 10

只看最后10条或最前10条,这用就能知道这个日志文件的开始记录的时间和日期。

  1. 百度蜘蛛抓取首页的详细记录

    cat access.log | grep Baiduspider | grep “GET / HTTP”

百度蜘蛛好像对首页非常热爱每个钟头都来光顾,而谷歌和雅虎蜘蛛更喜欢内页。

  1. 百度蜘蛛派性记录时间点分布

    cat access.log | grep “Baiduspider ” | awk ‘print $4}'

  2. 百度蜘蛛爬行页面按次数降序列表

    cat access.log ( grep “Baiduspider ” | awk ‘{print $7) ' | sort | uniq -c | sort -r

文中的Baiduspider 改成Googlebot都可以查看谷歌的数据,鉴于大陆的特殊性,大家应该对百度的log更为关注。
附:(Mediapartners-Google)Google adsense蜘蛛的详细爬行记录

cat access.log | grep Mediapartners

Mediapartners-Google是什么呢?Google adsense广告之所以能与内容相关,因为每个包含着adsense的广告被访问后,很快就有个Mediapartners-Google蜘蛛来到这个页面,所以几分钟后再刷新就能显示相关性广告了,真厉害啊!
ps:linux下nginx如何启用网站日志,查看蜘蛛爬虫
默认的路径是你安装时候指定的
如果用的LNMP之类的安装包
你可以在SHELL下
whereisnginx
找到相应的路径之后
在NGINX下的CONF文件夹里看配置文件,日志文件如果记录了话
在配置文件里有路径的~

支付宝打赏

此处评论已关闭

前篇 后篇
雷姆
拉姆