Disallow:該項(xiàng)的值用于描述不希望被訪問(wèn)的一組URL。

這個(gè)值可以是一條完整的路徑，也可以是路徑的非空前綴，以Disallow項(xiàng)的值開(kāi)頭的URL不會(huì)被robot訪問(wèn)。例如"Disallow:/help"禁止robot訪問(wèn)/help.html、/helpabc.html、/help/index.html，而"Disallow:/help/"則允許robot訪問(wèn)/help.html、/helpabc.html，不能訪問(wèn)/help/index.html。

"Disallow:"說(shuō)明允許robot訪問(wèn)該網(wǎng)站的所有url，在"/robots.txt"文件中，至少要有一條Disallow記錄。如果"/robots.txt"不存在或者為空文件，則對(duì)于所有的搜索引擎robot，該網(wǎng)站都是開(kāi)放的。

• 要攔截整個(gè)網(wǎng)站，請(qǐng)使用正斜扛。
Disallow:/

• 要攔截目錄及其中的所有內(nèi)容，請(qǐng)?jiān)谀夸浢筇砑诱笨浮?br /> Disallow:/private_directory/

• 要攔截網(wǎng)頁(yè)，請(qǐng)列出該網(wǎng)頁(yè)。
Disallow:/private_file.html

網(wǎng)址區(qū)分大小寫。例如：Disallow:/private_file.html
會(huì)攔截 private_file.html，
但不會(huì)攔截 Private_File.html。