MudPHP制作中。。。入口地址:fy3.tiandiyoyo.com

小改了一下robots.txt文件,屏蔽垃圾蜘蛛

29608 42 3.0

今天一用户杰少博客留言指出站点的robots.txt文件设置有误,我仔细地看了一下,发现确实有点问题,小改了一下,加上了屏蔽蜘蛛的内容,正好观察一下是否有的蜘蛛不按照robots耍流氓继续...

今天才发现一个大乌龙,本站搬家后,竟然忘放了robots.txt

13933 22 5.0

早上习惯性的逛到了下一把SEO博客,看了下他的《腾讯搜搜:一个活得憋屈的搜索引擎》文中后,发现其中有提到用SOSO引擎搜索xia18.com竟然出现了N多个垃圾外链,于是根据他的配图看过去...

wordpress下的robots.txt标准写法

9757 6 5.0

任何搜索引擎在抓取网站数据的时候,会先搜索网站根目录下是否存在robots.txt文件,如果存在,则按照文件内的配置来决定该网站内哪些文件是可以被抓取的,如果不存在,则默认所有该网...