WordPress技巧:分析蜘蛛爬行信息,去除垃圾蜘蛛 – 千丝海阁

首页 » Wordpress » WordPress技巧:分析蜘蛛爬行信息,去除垃圾蜘蛛

WordPress技巧:分析蜘蛛爬行信息,去除垃圾蜘蛛

5717 34

在前两天的wordpress技巧中,有一篇《WordPress技巧:生成网站访问日》的文章是用来生成网站访问日志,现在我们就要通过这些访问日志,来进行分析,得出引擎蜘蛛的爬行数据。


蜘蛛爬行分析图:
日期:2017-03-30
蜘蛛一共爬行329次:
  • google:58次(17%)
  • baidu:87次(26%)
  • bing:117次(35%)
  • sogou:67次(20%)
  • soso:0次(0%)
  • else:0次(2%)


  • 更详细效果见上方导航页《蜘蛛爬行》。

    蜘蛛爬行页面的数据都是当天的信息,其中列出了国内的常用蜘蛛:

    • google
    • baidu
    • bing
    • sogou
    • soso

    和其它非常用的国内其它蜘蛛:

    • Jike
    • Easou
    • Yisou

    或者是国外的蜘蛛:

    • Yandebox
    • Mail.RU
    • AcoonBot
    • Exabot
    • spbot

    通过这些记录,可以很清晰的了解自己的网站在什么时候被哪些蜘蛛爬过。虽然蜘蛛爬行对网站的资源消耗是非常小的,但是积少成多,也是一笔开销,更何况有些垃圾蜘蛛整天爬行的还十分积极,比如Yisou这个垃圾蜘蛛,到本文撰写为止,爬行了33次,而百度也只有49次而已。Yisou是什么东西?对我们网站根本是没有用处的一个引擎,我们完全可以把它屏蔽。tiandi还没有屏蔽这些垃圾蜘蛛,纯粹只是想再彻底观察它们一下。

    文章评分1次,平均分5.0



    上一篇:wordpress技巧:为正文内文章加上nofollow标签
    下一篇:PHP5.2下的数组问题

    本文原始地址:http://www.tiandiyoyo.com/2013/06/how-to-analysis-spider/
    本站所有文章,除了特别注明外,均为本站原创,转载请注明出处来自www.tiandiyoyo.com

    您可能还会对以下文章感兴趣:

      没有相关的文章

    评论前先开启评论开关:


    34 Comments

    1. 博主请教个问题,能不能禁止某ip段的蜘蛛,例如123.125.143*

    2. Alex :

      以前用过你的代码,网站日志不是每天清空的那种,然后,我就被刷流量了。。。

    载入分页评论...