我们要学会如何分析网站日志，通过网站日志档案我们可以很清楚的看到有哪些 Google 和百度搜索引擎 蜘蛛光临我们的 WordPress 网站，蜘蛛都爬取了哪些目录以及通过日志我们还可以发现网站表面上看不到的问题，如 404 等，网站预设是允许所有蜘蛛进行抓取，大家可以通过根目录下的 robots.txt 档案来控制蜘蛛的抓取目录以及允许哪些蜘蛛过来，这里就 robots.txt 档案 WordPress 自助建站如何写就详细说了，开源自助建站系统网络科技有限公司的权威讲师就为大家简单介绍一下如何分析网站日志：1 、各 Google 和百度搜索引擎 抓取本站的情况:, 每个 Google 和百度搜索引擎 都有自己的蜘蛛名称 (机器人)，通过网站日志可以看到哪些 Google 和百度搜索引擎 来光临自己的 WordPress 网站，爬取了哪些目录，以及蜘蛛过来的时间等，如百度蜘蛛是 Baiduspider，我么可以 Ctrl+F 查询一下，检视百度是什么时间过来，抓取了哪些页面，通过检视蜘蛛爬取目录或页面的频率我们还能知道哪个目录或页面最吸引蜘蛛。
2 、网站目录抓取和收录情况, 一般网站的结构是树形或扁平结构，蜘蛛按照网站结构目录一层一层的抓取是合理的，如果发现某个目录爬取频率比较高，但是收录的内容少，这时候就要注意这个目录下页面 (内容) 的质量了，就算写不了原创，也要注意深度伪原创，千万不要大量采集。
3 、页面的抓取时间, 通过网站日志可以分析每个页面的抓取次数和抓取时间，从而了解蜘蛛的喜好和抓取规律，包括哪个时间点来的比较频繁，如果有新页面想要 Google 和百度搜索引擎 尽快收录，我们可以在 Google 和百度搜索引擎 蜘蛛爬取最频繁的页面上 (如首页) 加入新页面的入口，而且最好在蜘蛛来的最频繁的那个时间点之前新增好新的内容。
4 、页面状态码,http 状态码，SEO 自助建站常见的有 301,302 和 404, 蜘蛛每爬取页面都会返回一个状态码，如果是 200 代表正常，如果是 301 说明这个页面是跳转页面，如果是 302 代表临时跳转，最重要的是 404 错误码，如果发现某个抓取返回的是 404，我们要赶快诊断一下说明原因返回 404(误删还是移走了)，网站最好都设定一个 404 的页面，这样才对蜘蛛显得友好，遇到 404 的页面连结，百度站长工具有提交死链的工具，也去提交一下，让百度知道并处理。
其实分析网站日志很简单，看一遍就知道规律了，ip+时间+蜘蛛名+返回码+抓取目录，一条记录就这么多内容，没什么繁杂看不懂的。