亚洲欧洲美洲无码精品|亚洲精品视频中文字幕|久久99热这里只有高清|亚洲国产精品国产自在在线|亚洲国产欧美日韩综合高清|国产成人精品视频一二三区|2020天天日天天射天天拍|国产羞羞一区二区三区免费观看

您的位置:首頁(yè) > 公司介紹
公司介紹

安平縣坤佰金屬絲網(wǎng)制品有限公司

2018-05-19 03:45:39作者:無(wú)名來(lái)源：admin0次閱讀

網(wǎng)站基礎(chǔ)優(yōu)化有很多，其中robots協(xié)議就是其中之一，今天就來(lái)談?wù)劙俣?strong>robots協(xié)議解析，關(guān)于robots協(xié)議寫法的相關(guān)問題。寫好robots協(xié)議文件有助于我們的網(wǎng)站更快的收錄及保護(hù)好網(wǎng)站。
?
一、什么是robots協(xié)議？
?
它是給于網(wǎng)站與蜘蛛之間的一種協(xié)議文件，所以其也可以稱之為爬蟲協(xié)議或者機(jī)器人協(xié)議。而百度站長(zhǎng)平臺(tái)給出的官方叫法是“網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”，通過這個(gè)文件網(wǎng)站管理員可以規(guī)定蜘蛛來(lái)到網(wǎng)哪里可以爬取，哪里不能爬取。

robots協(xié)議
?
二、robots協(xié)議的意義
?
整個(gè)網(wǎng)站是由網(wǎng)站內(nèi)容，程序，數(shù)據(jù)庫(kù)信息等等相關(guān)的組合在一起搭建起來(lái)的，而網(wǎng)站里面的東西不是什么都需打百度蛛蛛爬取收錄的，有的東西不能讓其收錄，如網(wǎng)站后臺(tái)地址、登錄信息，網(wǎng)站模板文件等等，這些東東西如果被蜘蛛爬收錄了，不僅會(huì)降低網(wǎng)站排名的收錄頁(yè)面得分，還會(huì)泄露網(wǎng)站重要信息。
?
為了避免這一情況的出現(xiàn)，robots協(xié)議就在中間起到了重要的作用。
?
三、robots協(xié)議文件的格式及寫法
?
User-agent:
?
該項(xiàng)的值用于描述搜索引擎robot的名字，在"robots.txt"文件中，如果有多條User-agent記錄說明有多個(gè)robot會(huì)受到該協(xié)議的限制，對(duì)該文件來(lái)說，至少要有一條User-agent記錄。
?
如果該項(xiàng)的值設(shè)為*，則該協(xié)議對(duì)任何機(jī)器人均有效，在"robots.txt"文件中，"User-agent：*"這樣的記錄只能有一條。
?
一般都是用"User-agent：*"，允許所有引擎蜘蛛到網(wǎng)站收錄頁(yè)面。
?
Disallow :
?
該項(xiàng)的值用于描述不希望被訪問到的一個(gè)URL，這個(gè)URL可以是一條完整的路徑，也可以是部分的，任何以Disallow開頭的URL均不會(huì)被robot訪問到。

robots協(xié)議寫法舉例
?
例如：
?
"Disallow: /help"
對(duì)/help.html和/help/index.html都不允許搜索引擎訪問，
?
而"Disallow:/help/"
則允許robot訪問/help.html，而不能訪問/help/index.html。
?
任何一條Disallow記錄為空，說明該網(wǎng)站的所有部分都允許被訪問，在"robots.txt"文件中，至少要有一Disallow記錄。
?
如果"robots.txt"是一個(gè)空文件，則對(duì)于所有的搜索引擎robot，該網(wǎng)站都是開放的。
?
四、robots.txt文件放在哪里?
?
robots協(xié)議應(yīng)該放在網(wǎng)站根目錄下面，當(dāng)蜘蛛來(lái)了網(wǎng)站時(shí)第一時(shí)間是查看robots文件協(xié)議，然后會(huì)根據(jù)這個(gè)文件的協(xié)議規(guī)則來(lái)對(duì)網(wǎng)站內(nèi)容進(jìn)行爬取及收錄頁(yè)面。
?
關(guān)于robots寫法具體可以查看《robots協(xié)議規(guī)則大全》

聲明: 本文由( admin )原創(chuàng)編譯，轉(zhuǎn)載請(qǐng)保留鏈接: robots協(xié)議

相關(guān)文章

編輯：admin 關(guān)鍵詞：robots協(xié)議

網(wǎng)友評(píng)論

公司介紹

行業(yè)：互聯(lián)網(wǎng) 品牌：公司介紹
，
取自"腹中有墨，不愿沉淪"之意。
我一直有一顆90后浪漫主義者的心
夢(mèng)里尋她千百度，驀然回首，那人卻在燈火闌珊處。
愛好互聯(lián)網(wǎng)，寫自傳、現(xiàn)代詩(shī)詞等。
公司專注電子商務(wù)、公司介紹優(yōu)化、公司介紹服務(wù)、公司介紹顧問、微營(yíng)銷、淘寶運(yùn)營(yíng)、網(wǎng)站運(yùn)營(yíng)、網(wǎng)絡(luò)營(yíng)銷、網(wǎng)絡(luò)推廣、微信公眾號(hào)、營(yíng)銷系統(tǒng)研發(fā)和培訓(xùn)；公司致力于幫助草根網(wǎng)絡(luò)創(chuàng)業(yè)者打造最好的網(wǎng)絡(luò)營(yíng)銷系統(tǒng)！ 用思維改變命運(yùn)！

歡迎大家咨詢。公司介紹
咨詢飛機(jī)； yizhilaoshu

最新文章

圖文聚集

熱門排行