新坑連載19：我是如何用robots.txt文件控制網(wǎng)站收錄數(shù)量的？

811 閱讀 0 評(píng)論 2 點(diǎn)贊

打個(gè)廣告，最后2個(gè)優(yōu)惠名額，課程介紹：100+自制視頻，7份獎(jiǎng)金，這是我?guī)Ыo這份課程的誠(chéng)意 - 課程正式報(bào)名

谷歌的算法現(xiàn)在變得更加謹(jǐn)慎，對(duì)網(wǎng)站的質(zhì)量要求也越來(lái)越高，網(wǎng)站收錄的頁(yè)面數(shù)量越多，你的排名不一定的變得更高，反而變得很差。

這是因?yàn)楣雀枰刂普麄€(gè)互聯(lián)網(wǎng)抓取的數(shù)量，這么多數(shù)據(jù)，它自己處理起來(lái)也費(fèi)勁，成本也高。

于是有用的內(nèi)容算法，核心算法，垃圾算法都紛紛而來(lái)，如何一部分頁(yè)面是低質(zhì)量的沒(méi)，那么整個(gè)站也會(huì)收到牽連。

因此我們必須要控制收錄的網(wǎng)頁(yè)數(shù)量，那么核心就是：只收錄要排名的，有用的內(nèi)容。

對(duì)于電商站，有用的內(nèi)容就是產(chǎn)品頁(yè)，分類頁(yè)，首頁(yè)，其他頁(yè)面。（政策、關(guān)于我們，活動(dòng)等）

谷歌GSC，也叫谷歌站長(zhǎng)工具有專門的索引報(bào)告：

但是我發(fā)現(xiàn)，我才上傳了150個(gè)產(chǎn)品，加上文章50篇，也沒(méi)有1000多個(gè)頁(yè)面啊，這是怎么回事？

于是檢查已收錄的頁(yè)面：

domian.com/?blackhole=41c654ea9b

domian.com/?&filter_color=black,gold,grey,pink,purple,red,yellow

原來(lái)是有很多帶參數(shù)的鏈接被收錄了，也就是？后面的一堆東西。

第一個(gè)blackhole，

這是一個(gè)插件，用來(lái)屏蔽無(wú)良的爬蟲。

第二個(gè)?&filter_color=black，

這是一個(gè)主題功能，客戶可以用來(lái)過(guò)濾顏色以及其他屬性。這樣導(dǎo)致的結(jié)果就是帶參數(shù)的url無(wú)窮無(wú)盡。

雖然過(guò)濾功能對(duì)客戶來(lái)說(shuō)很有用，但是這對(duì)搜索引擎幫助不大，不應(yīng)該被收錄。因此，我們可以先用robots.txt 協(xié)議來(lái)解決它。robots.txt 是一個(gè)文件，指導(dǎo)爬蟲應(yīng)該遵循什么規(guī)則。

但是這不是強(qiáng)制的，爬蟲仍然可以忽略規(guī)則爬取。但是大部分的搜索爬蟲，AI爬蟲還是遵守規(guī)則的。

因此我們可以來(lái)用這個(gè)控制爬蟲，再加上我們自己是WP建站，本身安全性就比Shopify差一些。還是需要做安全防護(hù)的。

分享一下，我目前WP站的robots.txt 規(guī)則：

User-agent:?*Disallow:?/wp-admin/Disallow:?/wp-includes/Disallow:?/wp-content/plugins/Disallow: /wp-content/themes/Disallow:?/wp-content/uploads/wc-logs/Disallow:?/wp-content/uploads/woocommerce_transient_files/Disallow:?/wp-content/uploads/woocommerce_uploads/Disallow: */feed/Disallow: */comments/Disallow:?/wp-login.phpDisallow: /readme.htmlDisallow:?/?s=*Disallow: /*?*Disallow:?/*blackholeDisallow: /?blackholeAllow:?/wp-admin/admin-ajax.php

用AI來(lái)解釋一下:

你可以根據(jù)你自己的網(wǎng)站設(shè)置來(lái)copy我這份txt協(xié)議。

另外，天天有私信質(zhì)疑我網(wǎng)站的訂單，那么PayPal提現(xiàn)和物流商快遞費(fèi)充值記錄也能說(shuō)明一些問(wèn)題了：

打個(gè)廣告，最后2個(gè)優(yōu)惠名額，課程介紹：100+自制視頻，7份獎(jiǎng)金，這是我?guī)Ыo這份課程的誠(chéng)意 - 課程正式報(bào)名

文章為作者獨(dú)立觀點(diǎn)，不代表DLZ123立場(chǎng)。如有侵權(quán),請(qǐng)聯(lián)系我們。( 版權(quán)為作者所有，如需轉(zhuǎn)載，請(qǐng)聯(lián)系作者 )

網(wǎng)站運(yùn)營(yíng)至今，離不開小伙伴們的支持。為了給小伙伴們提供一個(gè)互相交流的平臺(tái)和資源的對(duì)接，特地開通了獨(dú)立站交流群。群里有不少運(yùn)營(yíng)大神，不時(shí)會(huì)分享一些運(yùn)營(yíng)技巧，更有一些資源收藏愛好者不時(shí)分享一些優(yōu)質(zhì)的學(xué)習(xí)資料。

現(xiàn)在可以掃碼進(jìn)群，備注【加群】。 ( 群完全免費(fèi)，不廣告不賣課！)

點(diǎn)贊(2) 打賞