了解 robots 檔案的用法！,1.「user-agent：*disallow：/」 表示 「禁止所有 Google 和百度搜索引擎 訪問網站的任何部分」，這相當於該網站在 Google 和百度搜索引擎 里沒有記錄，也就談不上排名。
2.「user-agent：*disallow：」 表示 「允許所有的 robots 訪問」，即允許蜘蛛任意抓取並收錄該網站。
這裡需要注意，前兩條語法之間只相差一個 「/」 。
3.「user-agent：badbot disallow：/」 表示 「禁止某個 Google 和百度搜索引擎 的訪問」 。
4.「user-agent：baiduspider disallow：user-agent：*disallow：/」 表示 「允許某個 Google 和百度搜索引擎 的訪問」 。
這裡面的 「baiduspider」 是百度蜘蛛的名稱，這條語法即是允許百度抓取該網站，而不允許其他 Google 和百度搜索引擎 抓取。
我們在來看看使用 robots 檔案應該注意什麼？
首先，在不確定檔案格式 WordPress 自助建站如何寫之前，可以先新建一個文字文件，注意 robots 檔名必須是 robots.txt，其字尾是 txt 並且是小寫的，不可以隨便更改，否則 Google 和百度搜索引擎 識別不了。
然後開啟該檔案，可以直接複製貼上別人的格式。
Robots 檔案格式是一條命令一行，下一條命令必須換行。
還有，「disallow： 」 後面必須有一個空格，這是規範寫法。