首页 » Wordpress » WordPress技巧:分析蜘蛛爬行信息,去除垃圾蜘蛛

WordPress技巧:分析蜘蛛爬行信息,去除垃圾蜘蛛

22709 34

在前两天的wordpress技巧中,有一篇《WordPress技巧:生成网站访问日》的文章是用来生成网站访问日志,现在我们就要通过这些访问日志,来进行分析,得出引擎蜘蛛的爬行数据。

更详细效果见上方导航页《蜘蛛爬行》。

蜘蛛爬行页面的数据都是当天的信息,其中列出了国内的常用蜘蛛:

  • google
  • baidu
  • bing
  • sogou
  • soso

和其它非常用的国内其它蜘蛛:

  • Jike
  • Easou
  • Yisou

或者是国外的蜘蛛:

  • Yandebox
  • Mail.RU
  • AcoonBot
  • Exabot
  • spbot

通过这些记录,可以很清晰的了解自己的网站在什么时候被哪些蜘蛛爬过。虽然蜘蛛爬行对网站的资源消耗是非常小的,但是积少成多,也是一笔开销,更何况有些垃圾蜘蛛整天爬行的还十分积极,比如Yisou这个垃圾蜘蛛,到本文撰写为止,爬行了33次,而百度也只有49次而已。Yisou是什么东西?对我们网站根本是没有用处的一个引擎,我们完全可以把它屏蔽。tiandi还没有屏蔽这些垃圾蜘蛛,纯粹只是想再彻底观察它们一下。

文章评分1次,平均分5.0

本文原始地址:https://www.tiandiyoyo.com/2013/06/how-to-analysis-spider/
本站所有文章,除了特别注明外,均为本站原创,转载请注明出处来自www.tiandiyoyo.com

您可能还会对以下文章感兴趣:

评论前先开启评论开关:


34 Comments

  1. 博主请教个问题,能不能禁止某ip段的蜘蛛,例如123.125.143*

  2. Alex :

    以前用过你的代码,网站日志不是每天清空的那种,然后,我就被刷流量了。。。

载入分页评论...