為什么要禁止搜索引擎收錄？武漢做網站的公司—武漢盛世互聯小編為你介紹：一般我們網站可能會有較大的文件，如：圖片、FLASH、JS、視頻等，為了節省寬帶，也為了方便搜索引擎抓取，我們會設置robots協議，禁止搜索引擎收錄。如果你希望搜索引擎收錄網站所有的內容，就不要建立robots.txt協議。

    武漢做網站的公司|禁止搜索引擎收錄的方法

    一般來說spider在訪問一個網站時，最先就是查看網站的robots.txt，用于指定蜘蛛抓取網站上的數據。在文件中聲明該網站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。

    robots.txt文件放在哪里？

    robots.txt文件應該放置在網站根目錄下。當spider訪問一個網站，比如武漢做網站的公司—盛世互聯官網：http://www.381889.com時，首先會檢查該網站中是否存在http://www.381889.com/robots.txt這個文件，如果Spider找到這個文件，它就會根據這個文件的內容，來確定它訪問權限的范圍。如圖下：

    禁止搜索引擎收錄的方法

一、禁止搜索引擎跟蹤網頁的鏈接，而只對網頁建索引

    如果您不想搜索引擎追蹤此網頁上的鏈接，且不傳遞鏈接的權重，請將此元標記置入網頁的部分：

二、如果您不想百度追蹤某一條特定鏈接，百度還支持更精確的控制，請將此標記直接寫在某條鏈接上：

三、要允許其他搜索引擎跟蹤，但僅防止百度跟蹤您網頁的鏈接，請將此元標記置入網頁的部分：

四、我想禁止百度圖片搜索收錄某些圖片，該如何設置？

    禁止Baiduspider抓取網站上所有圖片、禁止或允許Baiduspider抓取網站上的某種特定格式的圖片文件可以通過設置robots實現，例：

1、禁止Baiduspider抓取網站上所有圖片，僅允許抓取網頁，禁止抓取任何圖片。

2、僅允許Baiduspider抓取網頁和.gif格式圖片，允許抓取網頁和gif格式圖片，不允許抓取其他格式圖片。

3、僅禁止Baiduspider抓取.jpg格式圖片

    最后需要說明的是：百度會嚴格遵守robots的相關協議，請注意區分您不想被抓取或收錄的目錄的大小寫，百度會對robots中所寫的文件和您不想被抓取和收錄的目錄做精確匹配，否則robots協議無法生效。想了解更多可閱讀武漢網站優化的相關新聞。