wordpress下的robots.txt标准写法 – 千丝海阁

首页 » SEO » wordpress下的robots.txt标准写法

wordpress下的robots.txt标准写法

2947 6

任何搜索引擎在抓取网站数据的时候,会先搜索网站根目录下是否存在robots.txt文件,如果存在,则按照文件内的配置来决定该网站内哪些文件是可以被抓取的,如果不存在,则默认所有该网站下的文件都可以被搜索引擎抓取。如果你的网站被搜索引擎收入的错误页面太多,你可以用disallow某个错误页面的方式来进行修正。

wordpress官方提供了标准样式,见Search Engine Optimization for WordPress最后一段内容。
Sitemap: http://www.example.com/sitemap.xml
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google
Disallow:
# digg mirror
User-agent: duggmirror
Disallow: /
# global
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /category/*/*
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?
Allow: /wp-content/uploads/

文章评分1次,平均分5.0



上一篇:【转】14个方法提高blog的页面访问量
下一篇:SKYPE竟然占用80端口,尼爷爷的

本文原始地址:http://www.tiandiyoyo.com/2013/03/wordpress-robots-content/
本站所有文章,除了特别注明外,均为本站原创,转载请注明出处来自www.tiandiyoyo.com

您可能还会对以下文章感兴趣:

评论前先开启评论开关:


6 Comments

  1. yxiao :

    *开头,百度不支持。

  2. 宜浩 :

    这是标准的写法吗,是除了文章都不抓取?

  3. 收藏 以后有空试下

载入分页评论...