wordpress的robots.txt写法及优化你的博客

WordPress博客的robots.txt文件写法得根据自身网站情况来定，当然我们可以借鉴一些知名网站的robots.txt写法，比如可以看wordpress教程网的robots.txt,可以通过访问：http://www.xx.com/robots.txt 获取
以下就以本站为例：

User-agent: *
Disallow: /wp-
Disallow: /?
Disallow: /feed/
Disallow: /*/feed/
Disallow: /trackback/
Disallow: /*/trackback/
Disallow: /page/
Disallow: /a-category/*/page/
Disallow: /a-tag/*/page/
Sitemap: http://www.shouce.ren/sitemap_baidu.xml

User-agent: *

Disallow: /wp-

Disallow: /?

Disallow: /feed/

Disallow: /*/feed/

Disallow: /trackback/

Disallow: /*/trackback/

Disallow: /page/

Disallow: /a-category/*/page/

Disallow: /a-tag/*/page/

Sitemap: http://www.shouce.ren/sitemap_baidu.xml

下面详细解释下每行规则的含义：

User-agent: * 对所有搜索引擎开放收录
Disallow: /wp- 禁止搜索引擎收录所有包含“wp-”字样的url，如wp-admin、wp-content、wp-includes、wp-login.php等
Disallow: /? 禁止搜索引擎收录所有包含“?”字样的url
Disallow: /feed/ 禁止搜索引擎收录RSS订阅页面
Disallow: /*/feed/ 禁止搜索引擎收录所有分类目录、TAG、文章的RSS订阅
Disallow: /trackback/ 禁止收录网站的trackback
Disallow: /*/trackback/ 禁止收录所有分类目录、TAG、文章的trackback
Disallow: /page/ 禁止百度收录首页分页，防止首页权重过于分散
Disallow: /a-category/*/page/ 同理，禁止百度收录分类目录分页
Disallow: /a-tag/*/page/ 同理，禁止百度收录TAG标签分页
Sitemap: http://www.xx.com/sitemap_baidu.xml robots.txt文件增加Sitemap链接地址