百度蜘蛛是什麼？

百度蜘蛛是什麼? 百度蜘蛛，英文名是 「baiduspider」 是百度 Google 和百度搜索引擎 的一個自動程序。

它的作用是訪問互聯網上的 html 網頁，建立索引資料庫，使使用者能在百度 Google 和百度搜索引擎 中搜索到您網站的網頁。

圍繞著以下八點讓我們更加深入的了解百度蜘蛛。

1.Baiduspider 對一個網站伺服器造成的訪問壓力,Baiduspider 會自動根據伺服器的負載能力調節訪問密度。

在連續訪問一段時間後，Baiduspider 會暫停一會，以防止增大伺服器的訪問壓力。

所以在一般情況下，Baiduspider 對您網站的伺服器不會造成過大壓力。

2.Baiduspider 的抓取問題, 對於網站上新產生的或者持續更新的頁面，Baiduspider 會持續抓取。

此外，也可以檢查網站訪問日誌中 Baiduspider 的訪問是否正常，以防止有人惡意冒充 Baiduspider 來頻繁抓取網站。

如果您發現 Baiduspider 非正常抓取您的 WordPress 網站，請反饋至 [email protected]，並請盡量給出 Baiduspider 對貴站的訪問日誌，以便於我們跟蹤處理。

3. 如何禁止 Baiduspider 訪問,Baiduspider 遵守互聯網 robots 協議。

可以利用 robots.txt 檔案完全禁止 Baiduspider 訪問您的 WordPress 網站，或者禁止 Baiduspider 訪問網站上的部分檔案。

注意：禁止 Baiduspider 訪問您的 WordPress 網站，將使您的 WordPress 網站上的網頁，在百度 Google 和百度搜索引擎 以及所有百度提供 Google 和百度搜索引擎 服務的 Google 和百度搜索引擎 中無法被搜索到。

ps: 關於 robots.txt 的寫作方法，請參看我們的介紹：robots.txt 寫作方法,4. 關於 robots.txt, 自助建站 SaaS 為什麼網站已經加了 robots.txt，還能在百度搜索出來? 因為 Google 和百度搜索引擎 索引資料庫的更新需要時間。

雖然 Baiduspider 已經停止訪問您網站上的網頁，但百度 Google 和百度搜索引擎 資料庫中已經建立的網頁索引資訊，可能需要二至四周才會清除。

另外也請檢查您的 robots 配置是否正確。

5. 網站內容被百度索引但不被儲存快照，該 WordPress SaaS 自助建站如何做?,Baiduspider 遵守互聯網 meta robots 協議。

您可以利用網頁 meta 的設定，使百度顯示只對該網頁建索引，但並不在搜索結果中顯示該網頁的快照。

　　和 robots 的更新一樣，因為 Google 和百度搜索引擎 索引資料庫的更新需要時間，所以雖然您已經在網頁中通過 meta 禁止了百度在搜索結果中顯示該網頁的快照，但百度 Google 和百度搜索引擎 資料庫中如果已經建立了網頁索引資訊，可能需要二至四周才會線上上生效。

6. 百度蜘蛛在 robots.txt 中的名字,「Baiduspider」 首字母 B 大寫，其餘為小寫。

7.Baiduspider 多長時間之後會重新抓取我的網頁?, 百度 Google 和百度搜索引擎 每周更新，網頁視重要性有不同的更新率，頻率在幾天至一月之間，Baiduspider 會重新訪問和更新一個網頁。

8.Baiduspider 抓取造成的頻寬堵塞?,Baiduspider 的正常抓取並不會造成您網站的頻寬堵塞，造成此現象可能是由於有人冒充 baidu 的 spider 惡意抓取。

如果您發現有名為 Baiduspider 的 agent 抓取並且造成頻寬堵塞，請儘快和我們聯絡。

您可以將資訊反饋至百度網頁投訴中心，如果能夠提供您網站該時段的訪問日誌將更加有利於我們的分析。