404頁面出現(xiàn)在用戶或蜘蛛訪問網站不存在url時，一般內容轉移或url結構改變時會造成404狀態(tài)頁面。尤其在網站改版時，內容及網站結構的調整很可能造成大量舊的url無法訪問，這些無法訪問的頁面對用戶及搜索引擎都是有負面影響的。
百度官方在公告中明確指出：
404頁面是網絡服務器返回的http狀態(tài)碼表示網頁未找到，用戶及蜘蛛無法訪問，是一種協(xié)議死鏈。這種死鏈頁面需主動推送，使搜索引擎能夠更快地發(fā)現(xiàn)并做相應處理，減少404死鏈內容對用戶及搜索引擎造成的負面影響。
另外，在百度官方抓取異常說明中也談到這個問題：
一、什么是死鏈?
頁面已經無效，無法對用戶提供任何有價值信息的頁面就是死鏈接，包括協(xié)議死鏈和內容死鏈兩種形式。
協(xié)議死鏈：頁面的TCP協(xié)議狀態(tài)/HTTP協(xié)議狀態(tài)明確表示的死鏈，常見的如404、403、503狀態(tài)等。
內容死鏈：服務器返回狀態(tài)是正常的，但內容已經變更為不存在、已刪除或需要權限等與原內容無關的信息頁面。
對于死鏈，建議通過百度站長平臺--死鏈工具提交死鏈的方式進行處理，以便搜索引擎更快地發(fā)現(xiàn)死鏈，減少死鏈對用戶以及搜索引擎造成的負面影響。
二、抓取異常對網站的影響有哪些?
對于大量內容無法正常抓取的網站，搜索引擎會認為網站存在用戶體驗上的缺陷，并降低對網站的評價，在抓取、索引、權重上都會受到一定程度的負面影響，最終影響到網站從百度獲取的流量。
三、及時處理死鏈可以給站長帶來什么?
當網站死鏈數(shù)據累積過多時，并且被展示到搜索結果頁中，對網站本身的訪問體驗和用戶轉化都起到了負面影響。另一方面，百度檢查死鏈的流程也會為網站帶來額外負擔，影響網站其他正常頁面的抓取和索引。
優(yōu)化用戶體驗：減少死鏈對網站品牌的損傷和用戶的差評度
改善網站排名：減少死鏈對線上搜索排名的負面影響
增加網站收錄：提交死鏈列表后，增加網站內容的收錄幾率
提升網站流量：排名和收錄改善后，間接提升網站流量
由上述內容可明確看出，404頁面確定會對搜索引擎造成負面影響，甚至可能會造成網站的降權!
因而，若網站改版后造成舊url無法訪問出現(xiàn)大量404頁面時，需要將這些鏈接通過百度站長工具提交，若量過大無法提交，則需在robots.txt中禁止搜索引擎爬取，這樣就可以有效的避免蜘蛛在爬取網站時出現(xiàn)大量404狀態(tài)碼而造成蜘蛛資源的浪費及權重的流失、差的蜘蛛“印象”等一系列降權可能。
根據404頁面url結構在robots.txt中進行disallow。如笨鳥博客最近的一次改版將tag頁面原有的/post/tag/結構改為/tag/更改了tag頁的目錄層級及所屬以利于網站整體目錄清晰便于統(tǒng)計等，由此產生的大量404頁面笨鳥在robots.txt中以Disallow:/post/tag/形式禁止抓取。
大量404頁面會明顯造成蜘蛛資源的浪費，尤其對于中小網站，其負面影響不容忽視!
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！
