了解 robots 档案的用法！,1.「user-agent：*disallow：/」 表示 「禁止所有 Google 和百度搜索引擎 访问网站的任何部分」，这相当于该网站在 Google 和百度搜索引擎 里没有记录，也就谈不上排名。
2.「user-agent：*disallow：」 表示 「允许所有的 robots 访问」，即允许蜘蛛任意抓取并收录该网站。
这里需要注意，前两条语法之间只相差一个 「/」 。
3.「user-agent：badbot disallow：/」 表示 「禁止某个 Google 和百度搜索引擎 的访问」 。
4.「user-agent：baiduspider disallow：user-agent：*disallow：/」 表示 「允许某个 Google 和百度搜索引擎 的访问」 。
这里面的 「baiduspider」 是百度蜘蛛的名称，这条语法即是允许百度抓取该网站，而不允许其他 Google 和百度搜索引擎 抓取。
我们在来看看使用 robots 档案应该注意什么？
首先，在不确定档案格式 WordPress 自助建站如何写之前，可以先新建一个文字文件，注意 robots 档名必须是 robots.txt，其字尾是 txt 并且是小写的，不可以随便更改，否则 Google 和百度搜索引擎 识别不了。
然后开启该档案，可以直接复制贴上别人的格式。
Robots 档案格式是一条命令一行，下一条命令必须换行。
还有，「disallow： 」 后面必须有一个空格，这是规范写法。