Google Adsense蜘蛛抓取的網頁在搜索中出現

前兩天Matt Cutts剛剛證實，Google Adsense蜘蛛(Mediapartner bot)所抓取的網頁會在Google搜索中出現。Matt Cutts說這只是一個節省帶寬開支的手段而已。

由于Google蜘蛛(Googlebot/2.1)所抓取的網站之多和頻率之緊密，他們每天需要使用的帶寬是巨量的。把Adsense蜘蛛所抓取的網站內容考慮進主搜索引擎中，一定會節省大量的帶寬開支。

實際上很多人一直以來都懷疑，Adsense蜘蛛Mediapartner bot和搜索蜘蛛Googlebot/2.1之間的關系到底是什么？使用Adsense的網站會不會因此更快的被收錄到Google搜索數據庫？會不會因為使用Adsense而提高或降低搜索排名？

在Google的官方網站中，他們明確指出，Adsense蜘蛛與搜索蜘蛛是完全分開的，而且Adsense的使用完全不影響網站排名，這兩者之間毫無關系。而且在Google內部，這兩個產品是由完全不同的兩個部門來處理的。他們之間并不交換任何資料。

但最近有跡象表明，Adsense蜘蛛所抓取的網頁結果出現在搜索結果中。比如Jen注意到，在搜索結果中出現的網頁快照時間與服務器日志文件中Adsense蜘蛛訪問的時間完全吻合，而不是Google搜索蜘蛛訪問的時間。

還有人在網頁上檢測訪問的是不是Adsense蜘蛛，如果是Adsense蜘蛛，就會返回一個改寫過的網頁。結果發現，在搜索引擎當中網頁出現了兩個版本。也就是說，搜索蜘蛛和Adsense蜘蛛的網頁結果都出現在搜索結果中，造成了復制網頁。

我自己以前也注意到，Adsense蜘蛛至少對網頁收錄有影響。記得有一次在做一個全新網站的時候，我從其他網站上直接復制代碼到新網頁。這段代碼里含有Adsense碼，我忘了刪除。新網站設計好后，我上傳網頁，然后自己看了一下，當然Adsense廣告也出現在網頁上。隨后我把Adsense碼刪除掉。

這個新的網站沒有任何導入鏈接，我也沒有向任何地方登錄，完全是一個試驗性質的網站。但不久，網頁結果出現在Google搜索中。

Google Adsense蜘蛛所抓取的網頁會出現在Google搜索結果中，對網站建設者有什么影響呢？第一，我想給我們的最重要的暗示是：千萬不要試圖使用隱藏網頁技術（cloaking），也就是當Google蜘蛛來訪問時，給它經過優化的版本，當普通訪客來訪時，給他另外一個版本。Google完全可以發出沒有Google標志的蜘蛛來檢測這種手段。

實際上，Google Adsense蜘蛛的標志和搜索蜘蛛就不一樣。如果你給這兩個蜘蛛不同的網頁內容，你的網站就會造成復制內容網頁，從而排名被懲罰。

第二： Google Adsense蜘蛛對排名是否真的沒有影響，我們需要做更多的測試才能肯定。

關鍵詞： 蜘蛛 蜘蛛搜索 google搜索 網頁抓取

上一篇：Google工具欄收集的數據是否被用在搜索排名算法中？

下一篇：Google排名算法中加入了更多用戶行為模式