robots 档案是一种机器人档案，就是我们给 Google 和百度搜索引擎 蜘蛛看的一种档案，Google 和百度搜索引擎 的蜘蛛在爬行我们网站的时候一把都会先爬行我们的 robots 档案，然后根据 robots 档案的要求，进行对我们网站的爬行。
那么我们在写 robots 档案的时候应该注意哪些技巧呢。
一般网站中不需要蜘蛛抓取的档案有：后台管理档案、程序指令码、附件、资料库档案、编码档案、样式表档案、模板档案、导航图片和背景图片等等。
这个时候我们就可以通过以下的方法来设定 robots 档案。
User-agent: *
Disallow: /admin/ 后台管理档案
Disallow: /require/程序档案
Disallow: /attachment/ 附件
Disallow: /images/ 图片
Disallow: /data/资料库档案
Disallow: /template/ 模板档案
Disallow: /css/ 样式表档案
Disallow: /lang/ 编码档案
Disallow: /script/指令码档案
Disallow: /js/js 档案, 如果您想让您的哪一个档案不被 Google 和百度搜索引擎 抓取的话，那么您就要按照以上的方法来设定您的 robots 档案。
如果您的 WordPress 网站是动态网页，并且这些动态页面都做了静态的版本，为了更好的 WordPress 让蜘蛛抓取。
那么您需要在 robots.txt 档案里设定避免动态网页被蜘蛛索引，这样就能保证这些页面不被 Google 和百度搜索引擎 重复的抓取了。
以上就是 WordPress SaaS 网络推广整理的一些 robots 档案的使用方法，robots 档案的使用方法还有很多，在后续的文章中我们还会有更多的说明。