今天一用户杰少博客留言指出站点的robots.txt文件设置有误，我仔细地看了一下，发现确实有点问题，小改了一下，加上了屏蔽蜘蛛的内容，正好观察一下是否有的蜘蛛不按照robots耍流氓继续...
MudPHP制作中。。。入口地址：fy3.tiandiyoyo.com
今天才发现一个大乌龙，本站搬家后，竟然忘放了robots.txt
早上习惯性的逛到了下一把SEO博客，看了下他的《腾讯搜搜：一个活得憋屈的搜索引擎》文中后，发现其中有提到用SOSO引擎搜索xia18.com竟然出现了N多个垃圾外链，于是根据他的配图看过去...
wordpress下的robots.txt标准写法
任何搜索引擎在抓取网站数据的时候，会先搜索网站根目录下是否存在robots.txt文件，如果存在，则按照文件内的配置来决定该网站内哪些文件是可以被抓取的，如果不存在，则默认所有该网...
K：
ccbbp：
匿名：
郑永：