我們要學會如何分析網站日誌，通過網站日誌檔案我們可以很清楚的看到有哪些 Google 和百度搜索引擎 蜘蛛光臨我們的 WordPress 網站，蜘蛛都爬取了哪些目錄以及通過日誌我們還可以發現網站表面上看不到的問題，如 404 等，網站預設是允許所有蜘蛛進行抓取，大家可以通過根目錄下的 robots.txt 檔案來控制蜘蛛的抓取目錄以及允許哪些蜘蛛過來，這裡就 robots.txt 檔案 WordPress 自助建站如何寫就詳細說了，開源自助建站系統網路科技有限公司的權威講師就為大家簡單介紹一下如何分析網站日誌：1 、各 Google 和百度搜索引擎 抓取本站的情況:, 每個 Google 和百度搜索引擎 都有自己的蜘蛛名稱 (機器人)，通過網站日誌可以看到哪些 Google 和百度搜索引擎 來光臨自己的 WordPress 網站，爬取了哪些目錄，以及蜘蛛過來的時間等，如百度蜘蛛是 Baiduspider，我么可以 Ctrl+F 查詢一下，檢視百度是什麼時間過來，抓取了哪些頁面，通過檢視蜘蛛爬取目錄或頁面的頻率我們還能知道哪個目錄或頁面最吸引蜘蛛。
2 、網站目錄抓取和收錄情況, 一般網站的結構是樹形或扁平結構，蜘蛛按照網站結構目錄一層一層的抓取是合理的，如果發現某個目錄爬取頻率比較高，但是收錄的內容少，這時候就要注意這個目錄下頁面 (內容) 的質量了，就算寫不了原創，也要注意深度偽原創，千萬不要大量採集。
3 、頁面的抓取時間, 通過網站日誌可以分析每個頁面的抓取次數和抓取時間，從而了解蜘蛛的喜好和抓取規律，包括哪個時間點來的比較頻繁，如果有新頁面想要 Google 和百度搜索引擎 儘快收錄，我們可以在 Google 和百度搜索引擎 蜘蛛爬取最頻繁的頁面上 (如首頁) 加入新頁面的入口，而且最好在蜘蛛來的最頻繁的那個時間點之前新增好新的內容。
4 、頁面狀態碼,http 狀態碼，SEO 自助建站常見的有 301,302 和 404, 蜘蛛每爬取頁面都會返回一個狀態碼，如果是 200 代表正常，如果是 301 說明這個頁面是跳轉頁面，如果是 302 代表臨時跳轉，最重要的是 404 錯誤碼，如果發現某個抓取返回的是 404，我們要趕快診斷一下說明原因返回 404(誤刪還是移走了)，網站最好都設定一個 404 的頁面，這樣才對蜘蛛顯得友好，遇到 404 的頁面連結，百度站長工具有提交死鏈的工具，也去提交一下，讓百度知道並處理。
其實分析網站日誌很簡單，看一遍就知道規律了，ip+時間+蜘蛛名+返回碼+抓取目錄，一條記錄就這麼多內容，沒什麼繁雜看不懂的。