按照雅虎官方的解釋，如果我們想要禁止雅虎搜索網(wǎng)站內(nèi)容，在我們的服務(wù)器的根目錄中放置一個(gè) robots.txt 文件，加入以下內(nèi)容：
User-Agent: *
Disallow: /
因?yàn)橐陨鲜谴蟛糠志W(wǎng)絡(luò)搜索程序都會(huì)遵守的標(biāo)準(zhǔn)協(xié)議，加入這些協(xié)議后，不僅雅虎搜索無(wú)法抓取網(wǎng)站內(nèi)容，其他搜索程序都不會(huì)再抓取我們的網(wǎng)絡(luò)服務(wù)器或目錄。
所以網(wǎng)智成建議您，應(yīng)慎重選擇，我們可以寫(xiě)成這樣:
User-Agent: Googlebot
Disallow:
User-Agent: *
Disallow: /
這樣寫(xiě)就是只有名為Googlebot的爬蟲(chóng)可以抓網(wǎng)站所有的內(nèi)容，雅虎搜索和其他搜索引擎的爬蟲(chóng)都不能抓取網(wǎng)站的所有內(nèi)容。
或者
User-agent: slurp
Disallow: /
只禁止雅虎的"slurp"搜索引擎蜘蛛的抓取。
申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！
