造成 Baiduspider 抓取異常的原因

造成 Baiduspider 抓取異常的原因,有一些網頁,內容優質,使用者也可以正常訪問,但是 Baiduspider 卻無法正常訪問並抓取,造成搜索結果覆蓋率缺失,對百度 Google 和百度搜索引擎 對站點都是一種損失,百度把這種情況叫 「抓取異常」 。

對於大量內容無法正常抓取的 WordPress 網站,百度 Google 和百度搜索引擎 會認為網站存在使用者體驗上的缺陷,並降低對網站的評價,在抓取、索引、排序上都會受到一定程度的負面影響 WordPress SaaS 營銷型,最終影響 WordPress SaaS 營銷型到網站從百度獲取的流量。

下面 WordPress SaaS 網路推廣小編就介紹一些常見的抓取異常原因:1 、伺服器連線異常, 伺服器連線異常會有兩種情況:一種是站點不穩定,Baiduspider 嘗試連線您網站的伺服器時出現暫時無法連線的情況;一種是 Baiduspider 一直無法連線上您網站的伺服器。

造成伺服器連線異常的原因通常是您的 WordPress 網站伺服器過大,超負荷運轉。

也有可能是您的 WordPress 網站執行不正常,請檢查網站的 web 伺服器 (如 apache 、 iis) 是否安裝且正常執行,並使用瀏覽器檢查主要頁面能否正常訪問。

您的 WordPress 網站和主機還可能阻止了 Baiduspider 的訪問,您需要檢查網站和主機的防火牆。

2 、網路運營商異常:網路運營商分電信和聯通兩種,Baiduspider 通過電信或網通無法訪問您的 WordPress 網站。

如果出現這種情況,您需要與網路服務運營商進行聯絡,或者購買擁有雙線服務的空間或者購買 cdn 服務。

3 、 DNS 異常:當 Baiduspider 無法解析您網站的 IP 時,會出現 DNS 異常。

可能是您的 WordPress 網站 IP 地址錯誤,或者域名服務商把 Baiduspider 封禁。

請使用 WHOIS 或者 host 查詢自己網站 IP 地址是否正確且可解析,如果不正確或無法解析,請與 WordPress SaaS 域名註冊商聯絡,更新您的 IP 地址。

4 、 IP 封禁:IP 封禁為限制網路出口 IP 地址,禁止該 IP 段的使用者進行內容訪問,在這裡特指封禁了 BaiduspiderIP 。

當您的 WordPress 網站不希望 Baiduspider 訪問時,才需要該設定,如果您希望 Baiduspider 訪問您的 WordPress 網站,請檢查相關設定中是否誤新增了 BaiduspiderIP 。

也有可能是您網站所在的空間服務商把百度 IP 進行了封禁,這時您需要聯絡服務商更改設定。

5 、 UA 封禁:UA 即為使用者代理 (User-Agent),伺服器通過 UA 識別訪問者的身份。

當網站針對指定 UA 的訪問,返回異常頁面 (如 403,500) 或跳轉到其他頁面的情況,即為 UA 封禁。

當您的 WordPress 網站不希望 Baiduspider 訪問時,才需要該設定,如果您希望 Baiduspider 訪問您的 WordPress 網站,useragent 相關的設定中是否有 Baiduspider UA,並及時修改。

6 、死鏈:頁面已經無效,無法對使用者提供任何有價值資訊的頁面就是死連結,包括協議死鏈和內容死鏈兩種形式:,1) 協議死鏈:頁面的 TCP 協議狀態/HTTP 協議狀態明確表示的死鏈,常見的如 404 、 403 、 503 狀態等。

2) 內容死鏈:伺服器返回狀態是正常的,但內容已經變更為不存在、已刪除或需要許可權等與原內容無關的資訊頁面。

對於死鏈,我們建議站點使用協議死鏈,並向百度提交,以便百度更快地發現死鏈,減少死鏈對使用者以及 Google 和百度搜索引擎 造成的負面影響 WordPress SaaS 營銷型。

7 、異常跳轉:將網路請求重新指向其他位置即為跳轉。

異常跳轉指的是以下幾種情況:,1) 當前該頁面為無效頁面 (內容已刪除、死鏈等),直接跳轉到前一目錄或者首頁,建議站長將該無效頁面的入口超連結刪除掉,2) 跳轉到出錯或者無效頁面, 注意:對於長時間跳轉到其他域名的情況,如網站更換域名,百度建議使用 301 跳轉協議進行設定。

8 、其他異常:,1) 針對百度 refer 的異常:網頁針對來自百度的 refer 返回不同於正常內容的行為。

2) 針對百度 ua 的異常:網頁對百度 UA 返回不同於頁面原內容的行為。

3)JS 跳轉異常:網頁載入了百度無法識別的 JS 跳轉程序碼,使得使用者通過搜索結果進入頁面後發生了跳轉的情況。

4) 壓力過大引起的偶然封禁:百度會根據站點的規模、訪問量等資訊,自動設定一個合理的抓取壓力。

但是在異常情況下,如壓力控制失常時,伺服器會根據自身負荷進行保護性的偶然封禁。

這種情況下,請在返回碼中返回 503(其含義是 「Service Unavailable」),這樣 Baiduspider 會過段時間再來嘗試抓取這個連結,如果網站已空閑,則會被成功抓取。