wopus.org

WordPress搜索引擎优化之robots.txt优化

Written by

沃普斯

in

WordPress 自从2.1版本开始，在 Privacy 选项里面允许用户设置是否被搜索引擎索引。但是它只有2个选项，一个是允许所有搜索引擎的机器人（Spider）索引所有内容，另外一个就是不允许。其实robots.txt的用法有很多，我们可以通过它来告诉搜索引擎那些目录可以爬，哪些不可以爬。

在WordPress中阻止Spider爬行一些目录和文件，不但可以有效的节省搜索引擎对服务器带宽的占用，还可以提高网站在搜索引擎中的排名。

使用WordPress搭建的博客，利用robots.txt文件限制搜索引擎抓取部分目录及文件，归纳大致有以下几种方法。

最简单的开放写法：

User-agent: *
Disallow:

使用说明：允许所有蜘蛛访问，允许访问所有内容。Wordpress只要模板中链接设计合理，没有需要限制的特殊内容，推荐使用这种写法。

最简单的严格写法：

User-agent: *
Disallow: /wp-*
#Allow: /wp-content/uploads/
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.js$
Disallow: /*.css$
Disallow: /?s=

使用说明：允许所有蜘蛛访问，限制以“wp-”开头的目录及文件，限制抓取.php文件、.inc文件、.js文件、.css文件，限制抓取搜索结果。

Disallow: /wp-* 会连同附件目录一起限制抓取，如果想让搜索引擎抓取附件中的内容，将第三行的 # 号注释去掉。Allow 不是所有搜索引擎都支持。

最合理的写法：

User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /?s=
Sitemap: http://domain/sitemap.xml

使用说明：允许所有搜索引擎抓取，逐一列举需要限制的目录，限制抓取搜索结果。

包含sitemap.xml地址（这一项wiki中有专门的说明，但Google管理员工具会提示‘检测到无效的 Sitemap 引用’，有效性尚有争议）。

robots.txt其他写法:为避免在搜索引擎中出现重复页面，Wordpress玩家自创了很多robots写法，列举一些常用的，作为参考（适用于伪静态方式的永久链接）：

* Disallow: /page/ #限制抓取Wordpress分页
* Disallow: /category/*/page/* #限制抓取分类的分页
* Disallow: /tag/ #限制抓取标签页面
* Disallow: */trackback/ #限制抓取Trackback内容
* Disallow: /category/* #限制抓取所有分类列表

最后，推荐使用 Google管理员工具，登录后访问“工具 -> 分析 robots.txt”，检查文件有效性。

Comments

62 responses to “WordPress搜索引擎优化之robots.txt优化”

  1. EaSy Avatar
    EaSy

    沙发！传说中的！

  2. ddfiberglass Avatar
    ddfiberglass

    用了robotsl 。

  3. KeHoeff Avatar
    KeHoeff

    hey this is a very interesting article!

  4. 沸腾SEO Avatar
    沸腾SEO

    我的写法

    User-agent: *
    Disallow: /wp-admin/
    Disallow: /wp-content/
    Disallow: /wp-includes/

  5. 10件安装WordPress后需要做的事 « Wopus中文博客平台

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、Wordpress搜索引擎优化之robots.txt优化。 […]

  6. 安装WordPress后10件需要做的事 – Fcola

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、Wordpress搜索引擎优化之robots.txt优化。 […]

  7. 拉米劳的个人博客 » Blog Archive » 新的主题

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、Wordpress搜索引擎优化之robots.txt优化。 […]

  8. 10件安装WordPress后需要做的事 | 冰淇淋加盐创意

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、Wordpress搜索引擎优化之robots.txt优化。 […]

  9. 安装WordPress后需要做的10件事 « 五号楼的博客

    […] 八、创建 robots.txt关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、Wordpress搜索引擎优化之robots.txt优化。 […]

  10. 十件安装WordPress后需要做的事 | 乐窝

    […] 八、创建 robots.txt 关于这点，推荐两篇文章：搜索引擎统一：Robots文件标准、Wordpress搜索引擎优化之robots.txt优化。 […]

  11. 九种WordPress SEO优化技巧 « Wopus中文博客平台 – Wordpress

    […] WordPress搜索引擎优化之robots.txt优化 […]

  12. 索罗日志 – 10件安装WordPress后需要做的事【他山之石】

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、Wordpress搜索引擎优化之robots.txt优化。 […]

  13. 10件安装WordPress后需要做的事 « 就是红

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、Wordpress搜索引擎优化之robots.txt优化。 […]

  14. wordpress博客主机 » 10件安装WordPress后需要做的事

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、Wordpress搜索引擎优化之robots.txt优化。 […]

  15. 10件安装WordPress后需要做的事 – 小屋子,看世界-水水 个人学习博客-blog

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、Wordpress搜索引擎优化之robots.txt优化。 […]

  16. 10件安装WordPress后需要做的事 « 活跃天空

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、Wordpress搜索引擎优化之robots.txt优化。 […]

  17. 10件安装WordPress后需要做的事 | 我爱WordPress

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、Wordpress搜索引擎优化之robots.txt优化。 […]

  18. 安装WordPress后需要做的事情 « 财务自由之路

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、Wordpress搜索引擎优化之robots.txt优化。 […]

  19. Danfi Avatar
    Danfi

    ?s=
    这个我链接里好像没有是不是就不用加上去了？

  20. e舟的博客 » Blog Archive » 七、提交博客到相关网站也要积极的把博客推广出去，

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、Wordpress搜索引擎优化之robots.txt优化。 […]

  21. 宅男部落 » 10件安装WordPress后需要做的事

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、Wordpress搜索引擎优化之robots.txt优化。 […]

  22. 10件安裝WordPress後需要做的事 – 【My Blog】

    […] 八、創建 robots.txt 關於這點，推薦Wopus以前的兩篇文章：搜索引擎統一：Robots文件標準、Wordpress搜索引擎優化之robots.txt優化。 […]

  23. |会学习的狗狗| 10件安装WordPress后需要做的事 : Welcome to www.studydog.net

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、Wordpress搜索引擎优化之robots.txt优化。 […]

  24. he Avatar
    he

    User-agent: *
    Disallow:
    这两行所表示的，不是说是不接受的意思吗？即禁止搜索到，怎么是“允许所有蜘蛛访问，允许访问所有内容”呢？

    1. 百不度 Avatar
      百不度

      因为Disallow这个里面你没有添加内容呀，就默认是“允许所有蜘蛛访问，允许访问所有内容”

  25. 10件安装WordPress后需要做的事 – 王小刚的博客

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、Wordpress搜索引擎优化之robots.txt优化。 […]

  26. 某人 Avatar
    某人

    用一些插件可以直接搞吧

    1. 西贝 Avatar
      西贝

      那个插件啊?期待回复，谢谢~

  27. 西贝 Avatar
    西贝

    为什么我被告知说是sitemap无法提交呢？期待回答，谢谢啊~

  28. 10件安装WordPress后需要做的事 | 雷人部落

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、Wordpress搜索引擎优化之robots.txt优化。 […]

  29. 10件安装WordPress后需要做的事

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、Wordpress搜索引擎优化之robots.txt优化。 […]

  30. 10件安装WordPress后需要做的事 « 西厢导航的博客

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、Wordpress搜索引擎优化之robots.txt优化。 […]

  31. 10件安装WordPress后需要做的事 | 转载分享

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、Wordpress搜索引擎优化之robots.txt优化。 […]

  32. 10件安装WordPress后需要做的事 « 良品宅男 | 测试

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、Wordpress搜索引擎优化之robots.txt优化。 […]

  33. 10件安装WordPress后需要做的事 « CnSeoIng,Lesson now

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、Wordpress搜索引擎优化之robots.txt优化。 […]

  34. 10件安装WordPress后需要做的事 – 博阿滕

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、WordPress搜索引擎优化之robots.txt优化。 […]

  35. 10件安装WordPress后需要做的事 : How do you do!

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、Wordpress搜索引擎优化之robots.txt优化。 […]

  36. 10件安装wordpress之后必做的事情 « eyingworldblog

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、WordPress搜索引擎优化之robots.txt优化。 […]

  37. 夜鼠 Avatar
    夜鼠

    wp程序中那么多文件夹，哪个是禁止抓取，哪些是允许的？

  38. 10件安装WordPress后需要做的事 | 飞翔的翅膀pp的资源库

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、Wordpress搜索引擎优化之robots.txt优化。 […]

  39. 10件安装WordPress之后必做的事情 | 亿影博客

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、WordPress搜索引擎优化之robots.txt优化。 […]

  40. 10件安装WordPress后需要做的事 | 徐超

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、WordPress搜索引擎优化之robots.txt优化。 […]

  41. 中山SEO Avatar
    中山SEO

    tag,category,page这几个页面不要disallow啊

  42. 10件安装WordPress使用教程 | 旗鱼博客

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、WordPress搜索引擎优化之robots.txt优化。 […]

  43. 10件安装WordPress后需要做的事 » 清水煮白面

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、WordPress搜索引擎优化之robots.txt优化。 […]

  44. 10件安装WordPress后需要做的事 « 筑城

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、WordPress搜索引擎优化之robots.txt优化。 […]

  45. 10件安装WordPress后需要做的事 | 马啃菠箩

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、WordPress搜索引擎优化之robots.txt优化。 […]

  46. jack Avatar
    jack

    我觉得这个写法才是最正确的，通用性也最好！

  47. 10件安装WordPress后需要做的事 | 伊秀网

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、WordPress搜索引擎优化之robots.txt优化。 […]

  48. Wordpress搜索引擎优化之robots.txt优化

    […] 文章转载自：WordPress搜索引擎优化之robots.txt优化 […]

  49. 哥本哈根の个人博客 | 10件安装WordPress后需要做的事

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、WordPress搜索引擎优化之robots.txt优化。 […]

  50. 九种WordPress SEO优化技巧 | 开溜网

    […] WordPress搜索引擎优化之robots.txt优化 […]

  51. 安装WordPress后需要做的10件事 | Byncc | Hello Beautiful

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、WordPress搜索引擎优化之robots.txt优化。 […]

  52. 安装WordPress后需要做的10件事 – 专注互联网 —— 沉默Saxophone

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、WordPress搜索引擎优化之robots.txt优化。 […]

  53. 安装WordPress后需要做的10件事 » 太阳塔

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、WordPress搜索引擎优化之robots.txt优化。 […]

  54. 10件安装WordPress后需要做的事 – 时尚网络

    […] 八、创建 robots.txt关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、WordPress搜索引擎优化之robots.txt优化。 […]

  55. 10件安装WordPress后需要做的事 | 恒啸寰宇

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、WordPress搜索引擎优化之robots.txt优化。 […]

  56. 苏州隐形纱窗 Avatar
    苏州隐形纱窗

    User-agent: *
    Disallow: /wp-admin
    Disallow: /wp-content/plugins
    Disallow: /wp-content/themes
    Disallow: /wp-includes
    Disallow: /?s=
    Sitemap: http://www.bsxinda.com/sitemap.xml
    Sitemap: http://www.bsxinda.com/sitemap.xml.gz

    这是我写法 不知道正确不？

    1. 酋 长 Avatar
      酋 长

      可以这么写~~

  57. 10件安装WordPress后需要做的事 – 许海彬

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、WordPress搜索引擎优化之robots.txt优化。 […]

  58. 10件安装WordPress后需要做的事 | 资源分享啦

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、WordPress搜索引擎优化之robots.txt优化。 […]

  59. 10件安装WordPress后需要做的事 – 米农网

    […] 八、创建 robots.txt 关于这点，推荐Wopus以前的两篇文章：搜索引擎统一：Robots文件标准、WordPress搜索引擎优化之robots.txt优化。 […]

More posts