大家都知道搜索引擎通過蜘蛛爬行來搜索抓取信息，robot.txt文件就是和蜘蛛交流的文件，很多人都會說介紹要怎么讓蜘蛛來爬行，卻很少人知道用robot.txt去操控蜘蛛，robot.txt用得好的話蜘蛛可以為你所用。下面上海做網站來介紹一下如何操控蜘蛛。

    一. 屏蔽相同頁面

  搜索引擎是個喜新厭舊的東西，不會去收錄重復的也或者已有的頁面，即使收錄了后期也會被刪掉，所以一開始我們可以打開robots文件，寫入禁止蜘蛛來讀取這個頁面的代碼，給蜘蛛來下個好印象，反之印象分會大大減分，影響將來蜘蛛來爬行網站。

  二.維護網站安全

  利用robots文件可以保護網站安全，有些人可能會問如何保護我的上海網站建設，如果不用robots文件屏蔽掉蜘蛛抓取admin后臺頁面或后臺以下的文件，蜘蛛就會默認收錄這些頁面，讓黑客有機可趁。

   三.盜鏈

  一般盜鏈也就幾個人，可是一旦被搜索引擎“盜鏈”那家伙你100M寬帶也吃不消，如果你做的不是圖片網站，又不想被搜索引擎“盜鏈”你的網站圖片。

  四.網站地圖提交

  Robots文件還支持網站地圖提交功能，提交了網站地圖可以讓蜘蛛更好地爬行網站內容，但是一大部分人做了網站卻不去提交網站地圖，雖然是沒有很大的影響建議提交。

  六. 禁止二級域名抓取

  一些上海企業網站建設網站會對VIP會員提供一些特殊服務，卻又不想這個服務被搜索引擎檢索到。