Robots協議是放在根目錄下的一個協議,也是蜘蛛爬行網站的時候需要訪冋的第—個文件,通過解讀Robσts文件的策略,蜘蛛可以知道哪些頁面可以爬行,哪些不可以爬行。一般來說,網站都是可以開發給蜘蛛來抓取的,某些不允許抓取的頁面或者頻道,只需要在Robots里面設定 Disallow(禁止抓取的命令)就可以。但是在實際運營中,可能面臨更復雜的情況,比如整站已經在 Https下,但是部

　　分頁面需要蜘蛛爬行,怎么辦?有以下幾個解決辦法。

　　(1)復制一份到HTTP下。

　　(2)使用user-agent判斷來訪者,將蜘蛛引導到HTTP頁面關于 Robots文件,詳細說明如下。

　　(1)特定頁面已經不需要蜘蛛抓取,可以進行Disallow。

　　(2)某類集中的頁面具有共同的∪RL參數,可以實現批量禁止抓取功能。在操作批量禁止的時候,需要避免誤傷,即具有同樣URL特征的功能可能并不在禁止的目的之內,無意中被禁止。關于同類特征的URL的一個特殊應用就是批量禁止動態URL的抓取。比如一個動態發布內容的網站,初始頁面都是動態頁面,從SEO角度考慮,這些動態頁面全部批量生成了對應的靜態頁面。

　　如果同時被蜘蛛抓取了動態頁面和對應的靜態頁面,那么網站就存在大量的重復頁面,對SEO是不好的�？梢酝ㄟ^ Robots功能,統一禁止動態URL的抓取,比如在 Robots文件里寫如下內容。

　　Disallow: / *

　　在抓取方面,蜘蛛會依據實際情況調整對網站的抓取頻次,即分配抓取定額,每天定量抓取網站內容,“定量”這個詞意味著是有限的,一個大門戶網站如果一次性提交10萬條URL,并不意昧著蜘蛛會很快把10萬條數據抓取回去,因此,必須有耐心跟蹤搜索蜘蛛在網站每天的爬行和收錄情況。