很多人都在說原創(chuàng)，每天去采集，然后修改后，重新發(fā)到自己的網(wǎng)站上，但是不知道你木有想過一個(gè)問題，我們發(fā)的文章有沒有意義，為什么不被收錄，蜘蛛怎么去認(rèn)為我們發(fā)的文章有沒有意義。
在這之前，我們得知道服務(wù)器日志在哪里尋找，服務(wù)器日志一般存在于FTP空間一個(gè)Log的文件夾下，并且是tor后綴結(jié)尾。將他下載后，解壓后我們得到倆個(gè)文件，將有大小文件后綴名更改為域名.txt 然后打開。我們會(huì)得到一大串文字字符，不要擔(dān)心從何看起，我們一條條的分析。但是我們首先得知道那些IP所代表的意思。下面我都列出來了。
Baiduspider=Baiduspider蜘蛛
Googlebot=Googlebot蜘蛛
Sogou=Sogou蜘蛛
Yahoo=Yahoo蜘蛛
360Spider=360Spider蜘蛛
123.125.68.=123.125.68沙盒
220.181.68.=220.181.68沙盒
220.181.7.=220.181.7預(yù)備抓取
123.125.66.=123.125.66預(yù)備抓取
121.14.89.=121.14.89新站考察
203.208.60.=203.208.60網(wǎng)站異常
210.72.225.=210.72.225巡邏
123.125.71.106=123.125.71.106低權(quán)重
123.125.71.95=123.125.71.95低權(quán)重
123.125.71.97=123.125.71.97低權(quán)重
123.125.71.117=123.125.71.117低權(quán)重
123.125.71.=123.125.71低權(quán)重匯總
220.181.108.95=220.181.108.95隔日快照
220.181.108.92=220.181.108.92權(quán)重抓取
220.181.108.91=220.181.108.91綜合權(quán)重
220.181.108.75=220.181.108.75內(nèi)頁權(quán)重
220.181.108.86=220.181.108.86權(quán)重首頁
220.181.108.89=220.181.108.89權(quán)重首頁
220.181.108.94=220.181.108.94權(quán)重首頁
220.181.108.97=220.181.108.97權(quán)重首頁
220.181.108.80=220.181.108.80權(quán)重首頁
220.181.108.77=220.181.108.77權(quán)重首頁
220.181.108.83=220.181.108.83權(quán)重首頁
220.181.108.=220.181.108權(quán)重蜘蛛?yún)R總
我們就其中一條分析
123.125.68.45 - - [24/Jun/2014 15:12:04 +0800] 'GET /xingyexinwen/129.html HTTP/1.1' 200 9107 '-' 'Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.12) Gecko/20101026 Firefox/3.6.12 QQDownload/1.7'
根據(jù)上面的定義分析：
123.125.68.45 - - [24/Jun/2014 15:12:04 +0800] 'GET /xingyexinwen/129.html這句話代表的意思是谷歌蜘蛛在2014年6月24號(hào)，15:12:04來我的網(wǎng)站抓取了xingyexinwen/129.html 這么一條URL，然后將其放到沙盒中(123.125.68.45 代表沙盒蜘蛛。)
HTTP/1.1' 200 9107 '-' 'Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.12) '至于這個(gè)，其中的200是返回碼，代表是正常，當(dāng)然返回碼還有301、404、302、304等等一些，可以去查一下代表的意思。其他代表是它訪問電腦的屬性，swindows操作系統(tǒng)等等。
不知道看了這些，你暈了沒有，當(dāng)然我們一般習(xí)慣用exec表格去分析日志，將txt文件導(dǎo)入表格中，能夠幫助我們更直觀的去分析日志，知道蜘蛛在我們網(wǎng)站上抓取了哪些內(nèi)容，然后將內(nèi)容定義為什么。當(dāng)然還可以利用日志分析軟件來分析。
關(guān)于更多，也可以搜索MOON蟲博客www.croelhui.com，需要我介紹什么，歡迎大家給我留言。
申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！
