Wordpress是全世界最受欢迎的blog之一，因其拥有无数的主题和插件备受广大bloger的喜爱.另外默认对搜索引擎非常友好，成为seo博客首选程式.
即使是这样，wordpress也有美中不足的地方。因为默认的设置不可能令每一个人都喜欢.比如评论、存档、标签等，给搜索引擎带来了很大的麻烦：大量的重复页面.自然排名就会收到一定的影响.这方面，尤其是在百度的世界里水土不服.毕竟是个外来的东西.google似乎知道那些该不该抓取.
wordpress本身可以通过很多中方式进行优化，这里我只讲robots.txt.
记住：robots.txt是禁止抓取且禁止沿着该页面爬行.和<meta name="robots" content="noindex,follow" />是有一定的差别的.
这里参考我的robots.txt写法：
User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /page/
Disallow: /comments/
Disallow: /trackback/Sitemap: http://www.youselin.com/sitemap.xml
当然还有其他的，比如tag、category这些我都在meta中处理过了，所以就没有在robots.txt中出现.
另外有点遗憾的是，百度在meta标签中对robots支持不是很好！