robots 檔案是一種機器人檔案，就是我們給 Google 和百度搜索引擎 蜘蛛看的一種檔案，Google 和百度搜索引擎 的蜘蛛在爬行我們網站的時候一把都會先爬行我們的 robots 檔案，然後根據 robots 檔案的要求，進行對我們網站的爬行。
那麼我們在寫 robots 檔案的時候應該注意哪些技巧呢。
一般網站中不需要蜘蛛抓取的檔案有：後台管理檔案、程序指令碼、附件、資料庫檔案、編碼檔案、樣式表檔案、模板檔案、導航圖片和背景圖片等等。
這個時候我們就可以通過以下的方法來設定 robots 檔案。
User-agent: *
Disallow: /admin/ 後台管理檔案
Disallow: /require/程序檔案
Disallow: /attachment/ 附件
Disallow: /images/ 圖片
Disallow: /data/資料庫檔案
Disallow: /template/ 模板檔案
Disallow: /css/ 樣式表檔案
Disallow: /lang/ 編碼檔案
Disallow: /script/指令碼檔案
Disallow: /js/js 檔案, 如果您想讓您的哪一個檔案不被 Google 和百度搜索引擎 抓取的話，那麼您就要按照以上的方法來設定您的 robots 檔案。
如果您的 WordPress 網站是動態網頁，並且這些動態頁面都做了靜態的版本，為了更好的 WordPress 讓蜘蛛抓取。
那麼您需要在 robots.txt 檔案里設定避免動態網頁被蜘蛛索引，這樣就能保證這些頁面不被 Google 和百度搜索引擎 重複的抓取了。
以上就是 WordPress SaaS 網路推廣整理的一些 robots 檔案的使用方法，robots 檔案的使用方法還有很多，在後續的文章中我們還會有更多的說明。