背景:#EDF0F5 #FAFBE6 #FFF2E2 #FDE6E0 #F3FFE1 #DAFAF3 #EAEAEF 默認  
閱讀內(nèi)容

robots書寫規(guī)則

[日期:2008-06-20] 來源:  作者:wangyongxue [字體: ]

什么是robots.txt文件?
搜索引擎使用 spider程序自動訪問互聯(lián)網(wǎng)上的網(wǎng)頁并獲取網(wǎng)頁信息。spider在訪問一個網(wǎng)站時,會首先會檢查該網(wǎng)站的根域下是否有一個叫做robots.txt 的純文本文件。您可以在您的網(wǎng)站中創(chuàng)建一個純文本文件robots.txt,在文件中聲明該網(wǎng)站中不想被robot訪問的部分或者指定搜索引擎只收錄特定 的部分。

請注意,僅當(dāng)您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時,才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容,請勿建立robots.txt文件或者創(chuàng)建一個內(nèi)容為空的robots.txt文件。

robots.txt文件放在哪里?

robots.txt 文件應(yīng)該放在網(wǎng)站根目錄下。舉例來說,當(dāng)spider訪問一個網(wǎng)站(比如http://www.abc.com)時,首先會檢查該網(wǎng)站中是否存在 http://www.abc.com/robots.txt這個文件,如果機器人找到這個文件,它就會根據(jù)這個文件的內(nèi)容,來確定它訪問權(quán)限的范圍。

網(wǎng)站 URL 相應(yīng)的 robots.txt的 URL
http://www.w3.org/ http://www.w3.org/robots.txt
http://www.w3.org:80/ http://www.w3.org:80/robots.txt
http://www.w3.org:1234/ http://www.w3.org:1234/robots.txt
http://w3.org/ http://w3.org/robots.txt

我放置或者剛剛修改了robots.txt的內(nèi)容,大約多長時間能生效?
baiduspider通常每天訪問一次網(wǎng)站的robots.txt文件,您對robots所做的修改,會在48小時內(nèi)生效。需要注意的是,robots.txt禁止收錄以前百度已收錄的內(nèi)容,從搜索結(jié)果中去除可能需要數(shù)月的時間。

我在robots.txt中設(shè)置了禁止百度收錄我網(wǎng)站的內(nèi)容,為何還出現(xiàn)在百度搜索結(jié)果中?
如果其他網(wǎng)站鏈接了您robots.txt文件中設(shè)置的禁止收錄的網(wǎng)頁,那么這些網(wǎng)頁仍然可能會出現(xiàn)在百度的搜索結(jié)果中,但您的網(wǎng)頁上的內(nèi)容不會被抓取、建入索引和顯示,百度搜索結(jié)果中展示的僅是其他網(wǎng)站對您相關(guān)網(wǎng)頁的描述。

禁止搜索引擎在搜索結(jié)果中顯示網(wǎng)頁快照,而只對網(wǎng)頁建索引
百度支持通過設(shè)置網(wǎng)頁的meta,防止搜索引擎顯示網(wǎng)站的快照。方法如下:
要防止所有搜索引擎顯示您網(wǎng)站的快照,請將此元標(biāo)記置入網(wǎng)頁的 部分:

要允許其他搜索引擎顯示快照,但僅防止百度顯示,請使用以下標(biāo)記:

注:此標(biāo)記只是禁止百度顯示該網(wǎng)頁的快照,百度會繼續(xù)為網(wǎng)頁建索引,并在搜索結(jié)果中顯示網(wǎng)頁摘要。

robots.txt文件的格式
"robots.txt"文件包含一條或更多的記錄,這些記錄通過空行分開(以CR,CR/NL, or NL作為結(jié)束符),每一條記錄的格式如下所示:
":"。

在該文件中可以使用#進行注解,具體使用方法和UNIX中的慣例一樣。該文件中的記錄通常以一行或多行User-agent開始,后面加上若干Disallow和Allow行,詳細情況如下:

User-agent:
該項的值用于描述搜索引擎robot的名字。在"robots.txt"文件中,如果有多條User-agent記錄說明有多個robot會受到 "robots.txt"的限制,對該文件來說,至少要有一條User-agent記錄。如果該項的值設(shè)為*,則對任何robot均有效,在 "robots.txt"文件中,"User-agent:*"這樣的記錄只能有一條。如果在"robots.txt"文件中,加入"User- agent:SomeBot"和若干Disallow、Allow行,那么名為"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和Allow行的限制。

Disallow:
該項的值用于描述不希望被訪問的一組URL,這個值可以是一條完整的路徑,也可以是路徑的非空前綴,以Disallow項的值開頭的URL不會被 robot訪問。例如"Disallow:/help"禁止robot訪問/help.html、/helpabc.html、 /help/index.html,而"Disallow:/help/"則允許robot訪問/help.html、/helpabc.html,不能 訪問/help/index.html。"Disallow:"說明允許robot訪問該網(wǎng)站的所有url,在"/robots.txt"文件中,至少要 有一條Disallow記錄。如果"/robots.txt"不存在或者為空文件,則對于所有的搜索引擎robot,該網(wǎng)站都是開放的。

Allow:
該項的值用于描述希望被訪問的一組URL,與Disallow項相似,這個值可以是一條完整的路徑,也可以是路徑的前綴,以Allow項的值開頭的URL 是允許robot訪問的。例如"Allow:/hibaidu"允許robot訪問/hibaidu.htm、/hibaiducom.html、 /hibaidu/com.html。一個網(wǎng)站的所有URL默認是Allow的,所以Allow通常與Disallow搭配使用,實現(xiàn)允許訪問一部分網(wǎng)頁 同時禁止訪問其它所有URL的功能。

需要特別注意的是Disallow與Allow行的順序是有意義的,robot會根據(jù)第一個匹配成功的Allow或Disallow行確定是否訪問某個URL。

使用"*"和"$":
baiduspider支持使用通配符"*"和"$"來模糊匹配url。

"$" 匹配行結(jié)束符。
"*" 匹配0或多個任意字符。

URL匹配舉例

Allow或Disallow的值 URL 匹配結(jié)果
/tmp /tmp yes
/tmp /tmp.html yes
/tmp /tmp/a.html yes
/tmp/ /tmp no
/tmp/ /tmphoho no
/tmp/ /tmp/a.html yes
 
/Hello* /Hello.html yes
/He*lo /Hello,lolo yes
/Heap*lo /Hello,lolo no
html$ /tmpa.html yes
/a.html$ /a.html yes
htm$ /a.html no

    1. robots.txt文件用法舉例
    1. 例1. 禁止所有搜索引擎訪問網(wǎng)站的任何部分
      下載該robots.txt文件
    User-agent: *
    Disallow: /

    例2. 允許所有的robot訪問
    (或者也可以建一個空文件 "/robots.txt")

    User-agent: *
    Disallow:

    或者
    User-agent: *
    Allow: /
    例3. 僅禁止baiduspider訪問您的網(wǎng)站 User-agent: baiduspider
    Disallow: /
    例4. 僅允許baiduspider訪問您的網(wǎng)站 User-agent: baiduspider
    Disallow:


    User-agent: *
    Disallow: /
    例5.禁止spider訪問特定目錄
    在這個例子中,該網(wǎng)站有三個目錄對搜索引擎的訪問做了限制,即robot不會訪問這三個目錄。需要注意的是對每一個目錄必須分開聲明,而不能寫成 "Disallow: /cgi-bin/ /tmp/"。
    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /tmp/
    Disallow: /~joe/
    例6. 允許訪問特定目錄中的部分url User-agent: *
    Allow: /cgi-bin/see
    Allow: /tmp/hi
    Allow: /~joe/look
    Disallow: /cgi-bin/
    Disallow: /tmp/
    Disallow: /~joe/
    例7. 使用"*"限制訪問url
    禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
    User-agent: *
    Disallow: /cgi-bin/*.htm
    例8. 使用"$"限制訪問url
    僅允許訪問以".htm"為后綴的URL。
    User-agent: *
    Allow: .htm$
    Disallow: /
    例9. 禁止訪問網(wǎng)站中所有的動態(tài)頁面 User-agent: *
    Disallow: /*?*


  • 推薦 】 【 打印
    本文評論       全部評論

    發(fā)表評論
    • 尊重網(wǎng)上道德,遵守中華人民共和國的各項有關(guān)法律法規(guī)
    • 承擔(dān)一切因您的行為而直接或間接導(dǎo)致的民事或刑事法律責(zé)任
    • 本站管理人員有權(quán)保留或刪除其管轄留言中的任意內(nèi)容
    • 本站有權(quán)在網(wǎng)站內(nèi)轉(zhuǎn)載或引用您的評論
    • 參與本評論即表明您已經(jīng)閱讀并接受上述條款


    點評: 字數(shù)
    姓名:
    內(nèi)容查詢