做SEO肯定要關(guān)注收錄。有收錄，不一定有好的排名；但不收錄，就絕對(duì)不存在有排名的可能性。

早前我分享過(guò)一些關(guān)于網(wǎng)頁(yè)收錄的SEO實(shí)踐，很多時(shí)候是從單個(gè)頁(yè)面出發(fā)，特別講到的是新頁(yè)面遲遲不被收錄的情況。而這次的分享是從整站的角度去看總收錄數(shù)如何影響SEO。

看網(wǎng)站整體收錄數(shù)的意義在于：
1、評(píng)估網(wǎng)站整體的健康情況：如果收錄數(shù)遠(yuǎn)遠(yuǎn)低于網(wǎng)站實(shí)際網(wǎng)頁(yè)數(shù)，那往往是因?yàn)檎麄€(gè)網(wǎng)站質(zhì)量低。
2、及時(shí)監(jiān)控網(wǎng)站是否出現(xiàn)了大的異常：比如網(wǎng)站被懲罰了、或者錯(cuò)誤設(shè)置noindex標(biāo)簽/robots文件，都會(huì)導(dǎo)致網(wǎng)站收錄數(shù)出現(xiàn)驟降。
3、跟進(jìn)整站SEO優(yōu)化的效果提升：如果你接手了一個(gè)很爛的網(wǎng)站，在做了一輪整體的SEO大優(yōu)化后，可以通過(guò)查看收錄數(shù)是否有大幅度提升作為重要的效果衡量指標(biāo)之一。

查詢整站頁(yè)面被谷歌收錄數(shù)常用的方式有兩種：
1、site命令，即site:http://domain.com
2、查看Google Search Console的Indexing（中文：編制索引，下面統(tǒng)一用中文的說(shuō)法）報(bào)告

之前收到過(guò)以下關(guān)于整站收錄的一些問(wèn)題：
為什么收錄數(shù)低于網(wǎng)站實(shí)際網(wǎng)頁(yè)數(shù)？
某些頁(yè)面前陣子還被收錄了，但是今天查卻發(fā)現(xiàn)收錄沒(méi)了。
為什么用site命令查出來(lái)的頁(yè)面數(shù)和Search Console不一致，應(yīng)該以哪個(gè)為準(zhǔn)？
Search Console編制索引報(bào)告顯示收錄數(shù)變動(dòng)特別大，不知道問(wèn)題出現(xiàn)在哪里。
Search Console編制索引報(bào)告提示我有大量的自動(dòng)重定向/404頁(yè)面，該如何處理？

下面就以Q&A的方式來(lái)說(shuō)說(shuō)我是怎么處理以上這些問(wèn)題的。

Q1：為什么收錄數(shù)低于網(wǎng)站實(shí)際網(wǎng)頁(yè)數(shù)？

Answer: Google不會(huì)收錄你所有的網(wǎng)頁(yè)。在Search Console 編制索引報(bào)告的幫助文檔，有明確地提到這一點(diǎn)：

所以收錄數(shù)比網(wǎng)頁(yè)數(shù)低并非都是異常，那什么情況才是異常呢？

根據(jù)Google的John Mueller的說(shuō)法：網(wǎng)站 20% 的網(wǎng)頁(yè)未被編入索引屬于正常范圍。

也就是說(shuō)，假設(shè)你的網(wǎng)站實(shí)際上有100個(gè)網(wǎng)頁(yè)，收錄的網(wǎng)頁(yè)在80個(gè)以上，并且你的重點(diǎn)頁(yè)面都被收錄了，那你就不需要過(guò)于追求更高的收錄率了。

敲重點(diǎn)：必須確保你的重點(diǎn)頁(yè)面給谷歌收錄了。

那當(dāng)發(fā)現(xiàn)超過(guò)20%以上的網(wǎng)頁(yè)不被谷歌收錄，該如何排查呢? 在Google Search Console的編制索引版塊，有很直接地提示網(wǎng)頁(yè)未被編入索引的原因。點(diǎn)擊原因細(xì)項(xiàng)，可以看到是哪些網(wǎng)頁(yè)受到了影響。

如果確定是因?yàn)楫惓２僮鲗?dǎo)致的和技術(shù)有關(guān)的問(wèn)題，比如重定向或404，可以把這些異常頁(yè)面下載下來(lái)，給到網(wǎng)站開(kāi)發(fā)去處理。

如果你發(fā)現(xiàn)很多頁(yè)面因“已抓取 - 尚未編入索引”和“已抓取 - 尚未編入索引”導(dǎo)致不收錄，通常是因?yàn)槟愕恼w網(wǎng)站質(zhì)量低或者單個(gè)頁(yè)面質(zhì)量低。

單個(gè)頁(yè)面質(zhì)量低很顯而易見(jiàn)，常見(jiàn)的表現(xiàn)為：原創(chuàng)度低，內(nèi)容很簡(jiǎn)短，廢話較多而有價(jià)值的內(nèi)容少，語(yǔ)言表達(dá)不地道甚至有明顯的語(yǔ)法錯(cuò)誤。

然后你可能會(huì)發(fā)現(xiàn)，某單個(gè)頁(yè)面的質(zhì)量不算很高 ，但也絕對(duì)算不上低，符合100%原創(chuàng)度等基本SEO要求，但是也沒(méi)有被索引。原因很可能出現(xiàn)在網(wǎng)站整體質(zhì)量上：谷歌并不是認(rèn)為你這個(gè)頁(yè)面質(zhì)量很低，而是認(rèn)為你整個(gè)網(wǎng)站的質(zhì)量有點(diǎn)低，因?yàn)檎w網(wǎng)站質(zhì)量可以決定網(wǎng)站有多少頁(yè)面被編入索引。

提高整站質(zhì)量可以從內(nèi)容、技術(shù)、外鏈等方面入手，這是一個(gè)比較大的范疇，這里不展開(kāi)說(shuō)?？梢耘e個(gè)我自己思考的例子：去年8月谷歌推出helpful content update新搜索算法時(shí)，表示“刪除無(wú)用的內(nèi)容可能有助于提高其他內(nèi)容的排名”。結(jié)合到因?yàn)檎举|(zhì)量影響單個(gè)質(zhì)量并不是很差的頁(yè)面收錄這個(gè)問(wèn)題，我認(rèn)為刪除無(wú)用的頁(yè)面是有助于提高質(zhì)量不算低的頁(yè)面收錄。

Q2：某些頁(yè)面前陣子還被收錄了，但是今天查卻發(fā)現(xiàn)收錄沒(méi)了。

Answer：排除技術(shù)的原因，那大概率是因?yàn)轫?yè)面質(zhì)量低。

但如果是質(zhì)量問(wèn)題，為什么之前谷歌還會(huì)收錄你的頁(yè)面，而不是在第一次抓取的時(shí)候就直接不收錄呢？

原因在于：如果谷歌沒(méi)有將該頁(yè)面編入索引，那么他們不會(huì)真正知道它是高質(zhì)量還是低質(zhì)量。

有實(shí)操過(guò)SEO的人可能會(huì)發(fā)現(xiàn)：有時(shí)候新頁(yè)面在剛被收錄時(shí)，排名還不錯(cuò) ；可沒(méi)高興幾天，排名比剛收錄的時(shí)候跌了好幾頁(yè)。

和上面的先索引后取消索引是一個(gè)道理，谷歌需要借助一些真實(shí)用戶訪問(wèn)頁(yè)面的數(shù)據(jù)反饋來(lái)幫助他們進(jìn)一步確定該頁(yè)面是不是真正的高質(zhì)量。（注：并非谷歌公開(kāi)的說(shuō)明，而是實(shí)踐中的觀察）

也就是說(shuō)，谷歌后來(lái)發(fā)現(xiàn)你的頁(yè)面質(zhì)量并不好，就從他們的數(shù)據(jù)庫(kù)里把你的頁(yè)面給刪除了，所以你發(fā)現(xiàn)原本有收錄的頁(yè)面現(xiàn)在不被收錄。

可嘗試通過(guò)優(yōu)化內(nèi)容提高頁(yè)面質(zhì)量，再提交給谷歌審查，看看能不能讓谷歌再收錄。

Q3：為什么用site指令查出來(lái)的頁(yè)面數(shù)和Search Console不一致，應(yīng)該以哪個(gè)為準(zhǔn)？

Answer：Google的說(shuō)法是把site指令作為參考，準(zhǔn)確的數(shù)據(jù)以Search Console索引報(bào)告為主。

我之前還專門研究過(guò)這個(gè)問(wèn)題。簡(jiǎn)單說(shuō)一下我的研究結(jié)論：我認(rèn)為site指令查出來(lái)的收錄數(shù)還是非常值得關(guān)注的指標(biāo)。因?yàn)橛行╉?yè)面在Search Console中顯示被收錄了，而用site指令查不出來(lái)的時(shí)候，在Google搜索引擎搜該頁(yè)面的網(wǎng)址也是搜不出來(lái)的。換句話說(shuō)：用site指令查不到收錄的網(wǎng)頁(yè)，幾乎不可能獲取到排名和流量。

我們不可能有精力關(guān)注到網(wǎng)站的每一個(gè)頁(yè)面?；卮饐?wèn)題1時(shí)強(qiáng)調(diào)的一個(gè)重點(diǎn)：必須確保你的重點(diǎn)頁(yè)面被谷歌收錄了。在這里進(jìn)一步要強(qiáng)調(diào)的重點(diǎn)是：必須確保你的重點(diǎn)頁(yè)面用site指令可以查到被收錄。（注：非谷歌官方說(shuō)法，而是我個(gè)人的實(shí)踐觀察）

Q4：Search Console編制索引報(bào)告顯示收錄數(shù)變動(dòng)特別大，不知道問(wèn)題出現(xiàn)在哪里？

Answer：以下是我以往排查的方法，供參考

#1 通過(guò)路徑：Google Search Console -> 編制索引 -> 網(wǎng)頁(yè) -> 所有已提交的網(wǎng)頁(yè) -> 未編入索引 -> 原因

找到有大量未編入索引的網(wǎng)頁(yè)，進(jìn)一步細(xì)分排查。

#2 打開(kāi)Google 搜索排名更新列表，看看谷歌這段時(shí)間是否推出/更新了算法，我的網(wǎng)站是不是剛好有些行為明顯觸犯了算法？

Q5：Search Console編制索引報(bào)告提示我有大量的自動(dòng)重定向/404頁(yè)面，該如何處理？

Answer: 這屬于技術(shù)SEO的問(wèn)題。建議SEO人員先自己過(guò)一遍，確認(rèn)是開(kāi)發(fā)的問(wèn)題，再把問(wèn)題提交網(wǎng)站開(kāi)發(fā)人員處理。

SEOer還是很有必要懂一些常用的技術(shù)SEO操作，因?yàn)槿绻悴欢?，直接把?wèn)題拋給開(kāi)發(fā)人員，開(kāi)發(fā)人員也很可能不懂。谷歌搜索中心有很全面的教程，我在之前的文章里也分享過(guò)我在SEO工作中常用到的技術(shù)SEO。

在掌握了一定技術(shù)SEO的基礎(chǔ)上，你會(huì)發(fā)現(xiàn)Search Console編制索引報(bào)告里提示的很多關(guān)于重定向問(wèn)題其實(shí)是不用管它的。還有404的頁(yè)面，谷歌也曾表明網(wǎng)站出現(xiàn) 404 錯(cuò)誤是正常的，不會(huì)將它們視為負(fù)面排名因素。

你要做的是結(jié)合網(wǎng)站的實(shí)際情況，判斷出現(xiàn)的自動(dòng)重定向或者404頁(yè)面等問(wèn)題，是不是你們有意為之的，會(huì)不會(huì)影響用戶體驗(yàn)和谷歌抓取。如果確認(rèn)沒(méi)問(wèn)題，不用去找開(kāi)發(fā)人員；即使在編制索引報(bào)告一直有提示，你也不需要擔(dān)心。

比如我網(wǎng)站現(xiàn)在被提示有4.5萬(wàn)的網(wǎng)頁(yè)是重復(fù)網(wǎng)頁(yè)，但是我的SEO一點(diǎn)都沒(méi)有受到影響。

經(jīng)過(guò)排查后，我發(fā)現(xiàn)這里的重復(fù)網(wǎng)頁(yè)大部分是來(lái)自我們的登錄頁(yè)面，當(dāng)用戶訪問(wèn)登錄著陸頁(yè)時(shí)自動(dòng)生成的。我找網(wǎng)站開(kāi)發(fā)的同事確認(rèn)過(guò)，實(shí)際在網(wǎng)站的后臺(tái)沒(méi)有這樣的頁(yè)面，也查不到為什么會(huì)生成這樣的頁(yè)面。保險(xiǎn)起見(jiàn)，我在robots文件里做了屏蔽。做了屏蔽后，谷歌還是繼續(xù)抓，但也會(huì)不時(shí)刪掉一些之前抓到的這類頁(yè)面。長(zhǎng)期觀察下來(lái)，我確定并不會(huì)對(duì)我的網(wǎng)站SEO造成負(fù)面的影響。

所以當(dāng)你看到未被編入索引的頁(yè)面量特別大，有好幾萬(wàn)，不要太擔(dān)心，有時(shí)候是因?yàn)楣雀璧淖ト『团袛鄾](méi)那么智能。只要確保當(dāng)前你網(wǎng)站SEO不受影響，對(duì)提示的頁(yè)面進(jìn)一步分析和處理就好。

在網(wǎng)頁(yè)索引編制報(bào)告里，有“所有已知網(wǎng)頁(yè)”、“所有已提交的網(wǎng)頁(yè)”、“僅未提交的網(wǎng)頁(yè)”，以及站點(diǎn)地圖過(guò)濾器（如果你有站點(diǎn)地圖的話）幾個(gè)選項(xiàng)。

新手看到這些選項(xiàng)可能會(huì)有點(diǎn)迷惑。要搞清楚首先需要知道它們的定義是什么，在Search Console幫助文檔有很詳細(xì)的解釋。

簡(jiǎn)單來(lái)說(shuō)，“所有已提交的網(wǎng)頁(yè)”是指在站點(diǎn)地圖中列出的網(wǎng)址?！皟H未提交的網(wǎng)頁(yè)”是指不在站點(diǎn)地圖列出來(lái)的網(wǎng)址。而“所有已知網(wǎng)頁(yè)”是“所有已提交的網(wǎng)頁(yè)”和“僅未提交的網(wǎng)頁(yè)”的總和。

報(bào)告默認(rèn)顯示的是“所有已知網(wǎng)頁(yè)”。你很可能會(huì)發(fā)現(xiàn)不同的篩選器的結(jié)果相差非常大。那么我們上面說(shuō)到網(wǎng)站 20% 的網(wǎng)頁(yè)未被編入索引屬于正常范圍，到底是看哪一項(xiàng)？我是看第二項(xiàng)“所有提交的網(wǎng)頁(yè)”，我網(wǎng)站的收錄率是93.5%，在正常范圍內(nèi)。這里需注意：確保把你希望被索引的正常網(wǎng)頁(yè)都放到網(wǎng)站地圖里，這樣統(tǒng)計(jì)出來(lái)的索引率才會(huì)準(zhǔn)確。

除了以上5個(gè)問(wèn)題，如果你還有哪些關(guān)于整站收錄的問(wèn)題，或者你有不一樣的實(shí)踐心得，歡迎留言。