看了一些教程robots.txt標(biāo)簽提到文件必須命名為 robots.txt,且必須位于網(wǎng)站的根目錄下,意思是robots.txt標(biāo)簽用于文檔鏈接嗎? nofollow決定權(quán)重分配針對一個鏈接設(shè)置嗎?(技術(shù)小白提問)
1. 什么是robots.txt文件?
搜索引擎使用spider程序自動訪問互聯(lián)網(wǎng)上的網(wǎng)頁并獲取網(wǎng)頁信息。spider在訪問一個網(wǎng)站時,會首先會檢查該網(wǎng)站的根域下是否有一個叫做 robots.txt的純文本文件,這個文件用于指定spider在您網(wǎng)站上的抓取范圍。您可以在您的網(wǎng)站中創(chuàng)建一個robots.txt,在文件中聲明 該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。
請注意,僅當(dāng)您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時,才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容,請勿建立robots.txt文件。
2. robots.txt文件放在哪里?
robots.txt文件應(yīng)該放置在網(wǎng)站根目錄下。舉例來說,當(dāng)spider訪問一個網(wǎng)站(比如 http://www.abc.com)時,首先會檢查該網(wǎng)站中是否存在http://www.abc.com/robots.txt這個文件,如果 Spider找到這個文件,它就會根據(jù)這個文件的內(nèi)容,來確定它訪問權(quán)限的范圍。
3. nofollow標(biāo)簽:
如果您不想搜索引擎追蹤此網(wǎng)頁上的鏈接,且不傳遞鏈接的權(quán)重,請將此元標(biāo)記置入網(wǎng)頁的?部分:
<meta name="robots" content="nofollow">
如果您不想搜索引擎追蹤某一條特定鏈接,還支持更精確的控制,請將此標(biāo)記直接寫在某條鏈接上:
< a href="signin.php" rel="nofollow" > sign in < / a>
nofollow 可以針對一個鏈接設(shè)置