虛擬主機怎樣阻止蜘蛛訪問？有什么方法？虛擬主機組織蜘蛛訪問，可以使用robots協(xié)議來實現(xiàn)。robots是網(wǎng)站跟爬蟲間的協(xié)議，用簡單直接的txt格式文本方式告訴對應的爬蟲被允許的權限，也就是說robots.txt是搜索引擎中訪問網(wǎng)站的時候要查看的第一個文件。下面
聚名網(wǎng)
小編就為大家介紹一下虛擬主機阻止蜘蛛訪問方法。


虛擬主機怎樣阻止蜘蛛訪問？有什么方法？（推薦閱讀：
虛擬主機怎么看ip？一個虛擬主機只有一個ip嗎？
）

我們在管理虛擬主機時，有些情況下，不希望搜索引擎蜘蛛來訪問我們的內(nèi)容，這時，我們需要編寫一個爬蟲協(xié)議，禁止搜索引擎來抓取數(shù)據(jù)。或者是禁止部分搜索引擎爬蟲來訪，而允許其他搜索引擎。都是可以通過robots文件實現(xiàn)。

當一個搜索蜘蛛訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果存在，搜索機器人就會按照該文件中的內(nèi)容來確定訪問的范圍;如果該文件不存在，所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護的頁面。

虛擬主機阻止蜘蛛訪問，比如禁止全部搜索引擎來訪時，可以如下編寫：

User-agent: *

Disallow: /

虛擬主機阻止某個蜘蛛訪問時，可以如下編寫：

User-agent: xxxspider

Disallow:/

虛擬主機阻止某個目錄被蜘蛛訪問時，可以如下編寫：

User-agent: *

Disallow: /admin/

即表示/admin/目錄，所有搜索引擎都不得來訪問。

以上是關于
虛擬主機
的介紹，如需要更多的虛擬主機小知識，詳情請關注
聚名網(wǎng)
虛擬主機
。