實(shí)際上，我們的日志中，有很多的baiduspider是他人偽裝的，要想解決這個(gè)問(wèn)題。我們必須在驗(yàn)證baiduspider真?zhèn)紊舷鹿Ψ?，這篇文章詳細(xì)的介紹了爬蟲(chóng)的鑒別方法。
我們?cè)诟鶕?jù)網(wǎng)站日志分析搜索引擎蜘蛛抓取網(wǎng)頁(yè)的記錄時(shí)，實(shí)際上很多站點(diǎn)都是有一些偽裝稱(chēng)baiduspider的到訪者的。這些數(shù)據(jù)會(huì)嚴(yán)重影響我們對(duì)日志分析后的判斷。
這些到訪者，為什么會(huì)偽裝為baiduspider來(lái)訪問(wèn)我們的網(wǎng)站呢？最典型的就是采集你內(nèi)容的那些人。他們知道很多工具是能夠看到哪些ip訪問(wèn)網(wǎng)站的量過(guò)大的。例如某一個(gè)ip今天訪問(wèn)你網(wǎng)站1萬(wàn)次，那正常嗎？肯定是不正常的。但他要是baiduspdier呢？呵呵，那就正常了。
Mozilla/5.0(compatible;Baiduspider/2.0;+http://www.baidu.com/search/spider.html）
Mozilla/5.0(compatible;Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)
Mozilla/5.0(Linux;u;Android4.2.2;zh-cn;)AppleWebKit/534.46(KHTML,likeGecko)Version/5.1MobileSafari/10600.6.3(compatible;Baiduspider/2.0;+http://www.baidu.com/search/spider.html)
Mozilla/5.0(iPhone;CPUiPhoneOS9_1likeMacOSX)AppleWebKit/601.1.46(KHTML,likeGecko)Version/9.0Mobile/13B143Safari/601.1(compatible;Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)
如上是包含了百度的常規(guī)爬蟲(chóng)，和渲染爬蟲(chóng)render的。這兩個(gè)爬蟲(chóng)的區(qū)別符已經(jīng)用紅色字體標(biāo)出來(lái)了。
可以通過(guò)DNS反查方式來(lái)解決這個(gè)問(wèn)題。根據(jù)平臺(tái)不同驗(yàn)證方法不同，如linux/windows/os三種平臺(tái)下的驗(yàn)證方法分別如下：
1、在linux平臺(tái)下，您可以使用hostip命令反解ip來(lái)判斷是否來(lái)自Baiduspider的抓取。Baiduspider的hostname以.baidu.com或.baidu.jp的格式命名，非.baidu.com或.baidu.jp即為冒充。
2、在windows平臺(tái)或者IBMOS/2平臺(tái)下，您可以使用nslookupip命令反解ip來(lái)判斷是否來(lái)自Baiduspider的抓取。打開(kāi)命令處理器輸入nslookupxxx.xxx.xxx.xxx（IP地址）就能解析ip，來(lái)判斷是否來(lái)自Baiduspider的抓取，Baiduspider的hostname以.baidu.com或.baidu.jp的格式命名，非.baidu.com或.baidu.jp即為冒充。
3、在macos平臺(tái)下，您可以使用dig命令反解ip來(lái)判斷是否來(lái)自Baiduspider的抓取。打開(kāi)命令處理器輸入digxxx.xxx.xxx.xxx（IP地址）就能解析ip，來(lái)判斷是否來(lái)自Baiduspider的抓取，Baiduspider的hostname以.baidu.com或.baidu.jp的格式命名，非.baidu.com或.baidu.jp即為冒充。
以上就是成都SEO教程自學(xué)網(wǎng)傲遠(yuǎn)對(duì)怎么識(shí)別百度蜘蛛Baiduspider的真假的介紹，希望可以幫到你！如有疑問(wèn)，歡迎留言！
文章出處：黎青松SEO博客
原文地址： http://www.alitaohuo.com/SEObaike/SEOrumenjiaocheng/2005.html
申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！
