了解 robots 档案的用法！,1.“user-agent：*disallow：/” 表示 “禁止所有 Google 和百度搜索引擎 访问网站的任何部分”，这相当于该网站在 Google 和百度搜索引擎 里没有记录，也就谈不上排名。
2.“user-agent：*disallow：” 表示 “允许所有的 robots 访问”，即允许蜘蛛任意抓取并收录该网站。
这里需要注意，前两条语法之间只相差一个 “/” 。
3.“user-agent：badbot disallow：/” 表示 “禁止某个 Google 和百度搜索引擎 的访问” 。
4.“user-agent：baiduspider disallow：user-agent：*disallow：/” 表示 “允许某个 Google 和百度搜索引擎 的访问” 。
这里面的 “baiduspider” 是百度蜘蛛的名称，这条语法即是允许百度抓取该网站，而不允许其他 Google 和百度搜索引擎 抓取。
我们在来看看使用 robots 档案应该注意什么？
首先，在不确定档案格式 WordPress 自助建站如何写之前，可以先新建一个文字文件，注意 robots 档名必须是 robots.txt，其字尾是 txt 并且是小写的，不可以随便更改，否则 Google 和百度搜索引擎 识别不了。
然后开启该档案，可以直接复制贴上别人的格式。
Robots 档案格式是一条命令一行，下一条命令必须换行。
还有，“disallow： ” 后面必须有一个空格，这是规范写法。