曾慶平SEO在前面的文章中講過robots.txt概念的時(shí)候，留下一個(gè)問題：為什么曾慶平SEO的robots.txt寫得那么復(fù)雜?
曾慶平SEO的robots.txt：http://www.***seo.com/robots.txt 這樣做的目的是，讓搜索引擎看來網(wǎng)站更規(guī)范和權(quán)威。
1、用robots.txt屏蔽相似的頁(yè)面或沒內(nèi)容的頁(yè)面。
我們知道，搜索引擎收錄網(wǎng)頁(yè)后，會(huì)對(duì)網(wǎng)頁(yè)進(jìn)行“審核”，當(dāng)網(wǎng)頁(yè)的相似度很高時(shí)2個(gè)頁(yè)面，搜索引擎會(huì)刪除其中一個(gè)。
假如以下這兩個(gè)鏈接，內(nèi)容其實(shí)差不多，所以第一個(gè)鏈接應(yīng)該屏蔽。 http://www.xxx.com/bbs/redirect.php?tid=5167&goto=lastpost#lastposthttp://www.xxx.com/bbs/thread-5167-1-1.html
第一個(gè)的鏈接非常多，屏蔽時(shí)，只要屏蔽/bbs/redirect.php? 就屏蔽了所有的。代碼如：Disallow: /bbs/redirect.php?
類似這樣的頁(yè)面，沒有內(nèi)容，也應(yīng)該屏蔽：http://www.xxx.com/index.php?sid=247304&lang=zh&action=writecomment&id=77&artlang=zh 這樣的鏈接也很多，屏蔽時(shí)，只要屏蔽/index.php?sid= 就屏蔽了所有的。
代碼如：Disallow: /index.php?sid=
2、用robots.txt屏蔽多余的鏈接，當(dāng)動(dòng)態(tài)和靜態(tài)共存時(shí)，一般去掉動(dòng)態(tài)的。
網(wǎng)站中經(jīng)常會(huì)存在多個(gè)鏈接指向同一個(gè)頁(yè)面，這種情況普遍存在時(shí)，會(huì)讓搜索引擎對(duì)網(wǎng)站的權(quán)威性產(chǎn)生懷疑。通過robots.txt把非主要的鏈接去掉。
假如以下兩個(gè)鏈接指向同樣的頁(yè)面，去掉次要的第一個(gè)。
http://www.xxx.com/space.php?username=曾慶平seo
http://www.xxx.com/space-uid-15.html
代碼如：Disallow: /space.php?username=
特別需要注意的是，首頁(yè)一般有這么幾個(gè)鏈接：www.yongfengseo.com www.yongfengseo.com/index.html 等，這個(gè)時(shí)候，不要屏蔽 index.html。因?yàn)槿鏸ndex.html index.php 等是默認(rèn)首頁(yè)，屏蔽可能導(dǎo)致蜘蛛爬取錯(cuò)亂。
咱們需要做的是，在給首頁(yè)做站內(nèi)外鏈接時(shí)，統(tǒng)一用不帶index.html 的http://www.yongfengseo.com/ 即可。這是URL標(biāo)準(zhǔn)化的概念。
3、用robots.txt屏蔽死鏈接。
死鏈接就是原來存在，后來因?yàn)楦陌婊蚋碌染壒蕜h除了的鏈接和網(wǎng)頁(yè)。比如，原來在某個(gè)目錄(假設(shè)目錄為/tempweb/)下的所有鏈接，因?yàn)楦陌娆F(xiàn)在都變?yōu)樗梨溄恿耍梢杂胷obots.txt屏蔽。
代碼如：Disallow: /tempweb/
4、用robots.txt屏蔽可能存在的“被K”外部鏈接。
很多網(wǎng)站允許用戶放自己的網(wǎng)站鏈接，但因?yàn)檫^多的“被K”外部鏈接可能連累自己。所以，很多把所有外部鏈接放入一個(gè)鏈接目錄下，然后通過robots.txt統(tǒng)一屏蔽。
如果你對(duì)Disallow:的具體操作辦法不是很清楚，你可以從這里了解我之前發(fā)布的robots文章。
本文來自微信公眾號(hào)：平哥SEO優(yōu)化(qingpingseo) 原文鏈接：http://www.yongfengseo.com
申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！
