爬行、抓取、索引、收錄，指的都是什么？

一位讀者在 是告訴搜索引擎，不要沿著這個鏈接爬行，就當這個鏈接不存在。注意，nofollow只是告訴蜘蛛不要爬這個鏈接，沒有說不要抓取鏈接指向的URL，也沒有說不要索引鏈接指向的URL，nofollow既沒禁止抓取，也沒禁止索引。

概念說過后，指出幾個SEO們經常弄不明白的情況：

沒有被抓取的頁面是可以被索引的

也就是說，蜘蛛沒有訪問和抓取這個頁面（比如被robots文件禁止抓?。?，這個頁面卻有信息存在索引庫中，用戶搜索時還能看到。

比如，淘寶整個網站用robots文件禁止百度蜘蛛抓取，但沒有用noindex禁止索引（如上面說的，禁止抓取后，就沒辦法禁止索引了，不抓取，就看不到noindex標簽了），所以即使百度沒有訪問和抓取淘寶頁面，但淘寶很多頁面是被百度索引的，用戶可以搜到的：

百度從網上那么多鏈接知道淘寶首頁的存在，通過鏈接的錨文字也知道這個頁面標題大概是淘寶之類的，當然更知道百度口碑里的評價數。所以即使百度蜘蛛沒有抓取淘寶首頁，用戶還是能搜到，并且顯示一些百度知道的信息。

要想百度不能返回淘寶首頁該怎么辦呢？取消robots文件的禁止抓取，頁面上用noindex禁止索引。

被抓取的頁面是可以不被索引的

最常見的就是上面說過的，頁面頭信息使用noindex禁止索引，頁面被抓取，讀到noindex后，不被索引，不會在搜索結果中返回。老頁面新加noindex也不是馬上刪除索引，還會保留索引一段時間，但不會返回在搜索結果中。

加了noindex的頁面上的鏈接是可以被跟蹤一段時間的，但時間長了，有noindex的頁面搜索引擎可能就不再抓取和索引了，上面的鏈接也就無效了。

還有可能是因為頁面內容是抄襲、轉載、低質量的，搜索引擎雖然抓取了頁面，索引過程中檢測出這些內容問題，被丟棄，沒有被索引。所以頁面沒有被收錄，通常要先檢查原始日志，看看是否被抓取過，如果被抓取過，可能是內容質量問題，如果根本沒被抓取，建議先看看網站結構是否有問題。

加了nofollow的鏈接目標頁面可以被抓取和索引

前面說了，nofollow既不禁止抓取，也不禁止索引。nofollow的作用是告訴蜘蛛不要跟著這個鏈接爬，就當這個鏈接不存在，但nofollow只對這個鏈接起作用，對別的鏈接沒作用，這個鏈接加了nofollow，不意味著別的地方就沒有正常的指向這個URL的鏈接，只要別的地方出現了沒加nofollow的鏈接，目標URL還是會被發現、抓?。僭O沒被robotx文件禁止）、索引（假設沒加noindex )。

上面這些概念和應用在SEO中是很重要的，如果還沒看懂，我也不知道該怎么再解釋了，只能建議再多讀幾遍。

關鍵詞： 索引 蜘蛛

上一篇：WordPress SEO指南

下一篇：搜索引擎蜘蛛抓取配額是什么？