13693193565
SEM營銷 / SE0營銷 / SMM營銷技術
善實戰SEO高端人才的智慧結晶
2023-09-15 作者：Joshua Hardwick 來源：SEO技術, SEO匯總
如果Google沒有將你的網站編入索引，那么網站幾乎是不可見的。你不會出現在任何搜索結果中，也不會獲得任何自然流量。既然你在這里，相信你已經知道這件事情了。因此，讓我們直接開始進入話題。
本文會教你如何解決以下這三個問題：
你的整個站點沒有被索引；一部分頁面有索引，而其他的沒有；新發布的頁面并沒有唄即時索引。但是首先，請確保我們保持一致，并充分理解索引的意義。
什么是抓取和索引？Google通過抓取來發現新的網頁，然后將這些網頁添加到索引中。他們使用稱為Googlebot的網絡爬蟲來進行此操作。
很困惑？讓我們來對一些名詞做一些解釋：
抓?。涸诰W頁上跟蹤超鏈接以發現新內容的過程。索引：將網頁存儲在龐大的數據庫中的過程。網絡爬蟲：一種執行抓取的程序。Googlebot：谷歌的網絡爬蟲。這里是一個谷歌的視頻，也講述了這些過程中的細節：
?v=BNHR6IQJGZs
當你在Google搜索內容時，其實是在要求Google返回其索引中的所有相關頁面。 由于通常有成千上萬的網頁符合要求，因此Google的排名算法會盡力對網頁進行排序，以便你會首先看到最好的和最相關的結果。
我這里要闡述的一個要點是，索引和排名是兩個不同的事情。
索引為了是參與，而排名是為了獲勝。
如果你都沒有參與是不可能獲得獲勝的。
如何檢查你的頁面是否被索引了進入谷歌，然后進行如下搜索 site:你的網址.com
這里的數字顯示的是谷歌大致的索引頁面數量。
如果你想檢查某個具體的頁面是否被索引的話，同樣也可以進行這樣的操作site:詳細的網址 運算符。
如果沒有任何結果的話，就說明頁面沒有被索引。
如果你是Google Search Console的用戶的話，你只需要查看覆蓋率額報告就可以找到精準的索引數據。你只需要進入：
Google Search Console > Index > Coverage
Google Search Console > 索引 > 覆蓋率
查看有效頁面的數量（包括警告頁面數量）。
如果這兩個數字的總和不是零，那么Google至少會將你網站上的某些頁面編入索引。 如果沒有，那么你可能遇到嚴重的問題，因為你的網頁均未被索引。
小提示. 不是Google Search Console用戶？免費注冊一個。每個關心從Google獲得流量的站長都應使用Google Search Console，這個很重要。你可以使用Google Search Console來檢測特定頁面是否被索引。你只需要將頁面URL放入URL檢測工具中。
如果頁面被索引，那么會顯示“URL is on Google（URL在谷歌中）”。
如果頁面沒有被索引，那么這里會顯示“URL is not on Google（URL不在谷歌中）”
如何讓谷歌索引你的頁面你的網站或者頁面沒有被谷歌索引？試下這些：
進入Google Search Console。進入URL檢測工具。將需要索引的URL粘貼到搜索框中。等待谷歌檢測URL。點擊“請求編入索引”按鈕。當你發布新帖子或頁面時，最好這么操作。你實際上是在告訴Google，你已經在網站上添加了一些新內容，它們應該去看看。
但是，請求編入索引不太可能解決舊頁面的索引問題。 如果是這種情況，請按照下面的清單進行診斷并解決問題。
下方是一些解決方法的快速訪問鏈接，你可能已經試過其中一些：
去除Robots.txt中的抓取阻礙去除不必要的noindex標簽將需要索引的頁面包含在網站地圖中去除不必要的canonical標簽檢查頁面是否是孤島頁面修復不必要的內部nofollow鏈接在“強力”頁面中加入內部鏈接確保頁面獨特并且有價值去除低質量頁面 (優化“抓取預算”)建立高質量的外鏈
1) 去除Robots.txt中的抓取阻礙Google沒有索引整個網站？這可能是由于robots.txt文件存在抓取阻礙導致的。
進入yourdomain.com/robots.txt檢查詳細的問題。
檢查是否右下方的這兩段中的任意一個代碼：
User-agent: GooglebotDisallow: / User-agent: *Disallow: / 這兩個都告訴Googlebot，不允許它們抓取網站上的任何頁面。要解決此問題，你只需要刪除它們，就這么簡單。
如果Google沒有為單個網頁編制索引，也有可能是robots.txt中的某個代碼導致的。要檢查是否存在這種情況，請將URL粘貼到Google Search Console中的URL檢測工具中。點擊覆蓋率板塊以顯示更多詳細信息，然后查找“是否允許抓取？ 否：被robots.txt阻止”錯誤。
這就代表，頁面被robots.txt阻止了。
如果是這種情況，請重新檢查你的robots.txt文件中是否有與該頁面或相關目錄有關的“禁止”規則。
在需要的情況下移除這段代碼即可。
2) 去除不必要的noindex標簽如果你告訴谷歌不索引某個網頁，谷歌是不會為其編制索引的。這可以讓一部分頁面保持隱秘。有兩種方法可以做到這一點：
方法1：meta標簽在頁面的<head> 中如果出現如下任意代碼，則不會被谷歌索引：
<meta name=“robots” content=“noindex”><meta name=“googlebot” content=“noindex”>這是一個針對爬蟲的meta標記，它告訴搜索引擎它們是否可以為該頁面編制索引。
小提示. 核心的參數是“noindex”，如果出現了“noindex”就代表頁面設置了不索引。如果你想找到網上所有擁有noindex meta標簽的頁面，你只需要使用 Ahrefs’ Site Audit（網站診斷）做個檢測即可。然后進入Indexability (可索引性 )報告。尋找“Noindex page（不索引頁面）“提示。
點擊后查看所有被屏蔽的頁面。刪除那些需要索引頁面的noindex meta標簽。
方法2：X?Robots-Tag網絡爬蟲遵循X-Robots-Tag的HTTP響應標頭。你可以使用服務器端腳本語言（例如PHP）、. htaccess文件中的內容或通過更改服務器配置來實現此效果。
Google Search Console中的URL檢查工具可告訴你，是否是由于此標頭而阻止Google抓取頁面。只需輸入URL，然后查找“允許索引？否：在“ X?Robots-Tag” http標頭中檢測到“ noindex”標記。
如果你想檢測整個站點是否存在這樣的問題，那么可以使用Ahrefs’ Site Audit tool（網站診斷）工具，并且在Page Explorer （頁面分析）篩選框中選擇“Robots information in HTTP header（檢查HTTP表頭的Robots信息）”進行查看：
同時，告訴網站開發者，修改需要要索引的頁面的表頭。
推薦閱讀: 使用X-Robots-Tag HTTP表頭進行特定的SEO：技巧和竅門
3) 將需要索引的頁面包含在網站地圖中網站地圖會告訴Google網站上的哪些頁面很重要，哪些不重要。它同時也可以為谷歌的抓取頻率做一些指導。
Google應該能夠在你的網站上找到網頁，無論它們是否在站點地圖中，但將它們包括在網站地圖內仍然是一種很好的做法。畢竟，沒必要讓谷歌進行毫無意義的抓取。
要檢查網頁是否在你的站點地圖中，請使用Google Search Console中的URL檢查工具。如果你看到“URL不在Google上”和“站點地圖：不適用”，則表明該URL不在你的站點地圖中或未建立索引。
沒有使用Google Search Console？進入你的網站地圖，通常是這個地址：yourdomain.com/sitemap.xml，然后搜索這個頁面的URL。
或者，你想找到所有的不在網站地圖中，但有需要索引的頁面，你只需要使用你Ahrefs’ Site Audit（網站診斷）。進入Page Explorer （頁面分析），并進行如下篩選：
這些頁面應該在你的網站地圖中，所以添加進去。添加后，通過下方的Ping方法告訴谷歌你已經更新了這個網站地圖。
?sitemap=<完整的網站地圖地址>
將后方的提示換成你的網站地圖地址，你應該可以收到下方這樣的消息：
這樣可以讓谷歌加速索引你的頁面。
4) 去除不必要的canonical標簽Canonical標簽會告訴Google哪個是頁面的首選版本。它看起來像這樣：
<link rel=“canonical” href=“/page.html”/>
大多數頁面沒有canonical標簽，也就是所謂的自引用的canonical標簽。這就告訴Google該頁面本身就是首選版本，同時可能是唯一的版本。換句話說，你希望對該頁面建立索引。
但是，如果你的頁面有不規范的canonical標簽，那么有可能在告訴Google錯誤的首選版本。在這種情況下，你的頁面將不會被索引。
檢測canonical標簽，你只需要使用谷歌的URL檢測工具。如果你的頁面的canonical標簽指向了另外一個頁面被，你看可以看到“具有Canonical標簽的備用頁面”的提示。
如果這個不應該出現，你希望當前頁面被索引，那么只需要去除該頁面的canonical標簽即可。
重要請注意，canonical標簽并不總是不好的。帶有這些標簽的大多數頁面都會有它們的原因。如果你看到你的頁面具有canonical標簽，請檢查對應的頁面。如果確實是該頁面的首選版本，并且也無需索引該頁面，則應該保留canonical標記。
如果你想快速找到整個站點上有問題的canonical標簽，可以使用Ahrefs’ Site Audit（網站診斷）工具進行檢測，進入Page Explorer （頁面分析）并使用以下設置：
這會在站點地圖中查找帶有非自引用canonical標簽的頁面。幾乎可以肯定的是，你希望對站點地圖中的頁面建立索引，因此，如果此過濾器返回任何結果，則你需要進一步進行排查。
這些頁面很可能具有錯誤的canonical標簽，或者一開始就不應該放在你的網站地圖中。
5) 檢查頁面是否是孤島頁面孤島頁面指的是那些沒有內部鏈接支撐的頁面。
由于Google通過抓取鏈接發現新內容，因此他們無法通過該過程發現孤島頁面。網站訪客也將無法找到這些內容。
為了檢測孤島頁面，嘗試使用Ahrefs’ Site Audit（網站診斷）工具。然后點擊 Links（鏈接）報告，并查看“孤島頁面 (沒有任何指向鏈接)”錯誤：
這會顯示出所有可索引、在站點地圖中顯示的、但沒有內部指向鏈接的所有頁面。
重要這個只有在下方兩種情況下才能夠正常檢測出結果：
所有需要索引的頁面都在你的網站地圖中。在Ahrefs的Site Audit（網站診斷）最開始，將選擇使用網站地圖中的頁面選項打勾。不確定要索引的所有頁面都在站點地圖中嗎？嘗試這個：
下載你網站上的所有頁面 （可以通過你的CMS來實現）抓取你的整個站點 （使用像Ahrefs Site Audit（網站診斷）這樣的工具）對比兩組URL。任何沒有在抓取時找到的URL都屬于孤島頁面
你可以通過以下兩種中任意一個方法解決孤島問題：
如果頁面不重要，那么將它刪除，并移出網站地圖。如果頁面和重要，將他放到你的內鏈結構中去。
6) 修復不必要的內部nofollow鏈接Nofollow鏈接指的是那些有著 rel=“nofollow” 標記的鏈接。它們會組織 PageRank 的傳遞。同時谷歌并不會抓取Nofollow鏈接。
這里是谷歌針對這個做的說明：
本質上，使用nofollow會導致我們從抓取目錄中刪除目標鏈接。但是，如果其他網站在不使用nofollow的情況下鏈接到目標頁面，或者這些URL是在站點地圖中提交給Google的，則目標頁面仍可能會出現在我們的索引中。
簡而言之，你需要確保指向索引頁面的鏈接是follow狀態的。
為此，請使用Ahrefs的Site Audit（網站診斷）工具對網站進行抓取。檢查Links（鏈接）報告中是否出現“Page has nofollow incoming internal links only（頁面僅具有nofollow的指向鏈接）”的錯誤：
假設你要Google索引該頁面，請從這些指向鏈接中刪除nofollow標記。如果不是，請刪除該頁面或對該頁面進行noindex處理。
推薦閱讀： Nofollow鏈接 VS Follow鏈接：所有你需要了解的知識
7) 在“強力”頁面中加入內部鏈接Google通過抓取你的網站來發現新內容。如果你忽略了內部鏈接到相關頁面，則它可能找不到這個頁面。
解決此問題的一種簡單方法是在網站中添加一些內部鏈接。你可以在建立索引的任何網頁上執行此操作。但是，如果你希望Google盡可能快地為頁面建立索引，則可以在一些“強力的”頁面上建立一些內部鏈接。
為什么？因為相比于一些不太重要的頁面，Google會更快地抓取此類頁面。
做法就是，進入Ahrefs Site Explorer（網站分析），輸入你的域名，并查看 Best by links（最佳鏈接）報告。
這將顯示網站上的所有頁面，按URL Rating（網址評分）進行排序。換句話說，它首先顯示的是權重最高的頁面。
查看列表并查找相關頁面，可以在這些頁面上添加一些目標頁面的內部鏈接。
例如，如果我們希望對客座博客指南文章進行內鏈的制作，那么鏈接建設指南這個頁面就可以提供一個相關的內部鏈接。該頁面恰好是我們博客上第11個最權威的頁面：
然后，當Google下次重新抓取頁面時，就會看到并抓取該鏈接。
專家建議在你添加完內部鏈接之后，將該頁面粘貼到Google的URL檢查工具中。點擊“請求編入索引”按鈕，以使Google知道頁面上的某些內容已更改，它需要盡快對其進行重新抓取。這可以加快Google發現內部鏈接并因此發現你要索引的頁面的進程。
8) 確保頁面獨特并且有價值Google不太可能將低質量的網頁編入索引，因為它們對用戶沒有任何價值。以下是Google的John Mueller對2018年建立索引的看法：
We never index all known URLs, that’s pretty normal. I’d focus on making the site awesome and inspiring, then things usually work out better.
—
公司地址：北京朝陽區團結湖嘉盛中心10層
微信：qq652807263
服務手機：13693193565
E-mail：888@edo2008.com
COPYRIGHT ? 2006-2023 北京藍纖科技有限公司 ALL RIGHTS RESERVED 京ICP備13006508號 京公網安備11010502025264