robots.txt文件協議設置技巧

數字營銷人員和搜索引擎優化專業人士都應該知道搜索引擎索引的重要性，這正是他們盡力幫助各大搜索引擎正確抓取并索引其網站，并將時間和資源投入到頁內和頁外優化（如內容，鏈接，標簽，元描述，圖像優化，網站結構等）的原因。

但是，雖然不排除高級網站優化是搜索成功的基礎，但忘記搜索引擎優化的技術部分可能是一個嚴重的錯誤。如果您從未聽說過有關robots.txt，機器人標簽，XML站點地圖，微格式和X-Robot標簽的信息，則可能會遇到麻煩。

不過，請不要驚慌。在本文中，我將解釋如何使用和設置robots.txt標簽。我也會提供幾個實際的例子。開始吧！

什么是robots.txt？

robots.txt是一個文本文件，用于指示搜索引擎機器人（也稱為抓取工具，機器人或蜘蛛）如何抓取和索引網站頁面。理想情況下，robots.txt文件放置在您網站的頂級目錄中，以便機器人可以立即訪問其說明。

為了將命令傳達給不同類型的搜索爬蟲，robots.txt文件必須遵循機器人排除協議（REP）中的特定標準，該協議于1994年創建，然后在1996年，1997年和2005年大幅擴展。

縱觀他們的歷史，robots.txt文件已經逐漸改進，以支持特定的抓取工具指令，URI模式擴展，索引指令（也稱為REP標簽或機器人元標簽）以及微格式rel =“nofollow”。

由于robots.txt文件為搜索漫游器提供了關于如何抓取或如何不抓取本網站或該部分網站的指導，因此了解如何使用和設置這些文件非常重要。如果robots.txt文件設置不正確，可能會導致多個索引錯誤。所以，每次你開始一個新的SEO活動時，請使用手動檢查你的robots.txt文件。

不要忘記：如果一切正常，robots.txt文件將加快索引過程。

用robots.txt隱藏

robots.txt文件可用于從搜索中排除某些目錄，類別和頁面。為此，請使用“disallow”指令。

以下是一些您應該使用robots.txt文件隱藏的頁面：

包含重復內容的網頁

分頁頁面

動態產品和服務頁面

帳戶頁面

管理頁面

購物車

聊天

基本上，它看起來像這樣：

在上面的示例中，我指示避免對用戶帳戶，購物車和用戶在搜索欄中查找產品或按價格排序時生成的多個動態頁面的所有頁面進行爬網和索引，等等。

但是，請不要忘記，任何robots.txt文件都可以在網上公開獲得。要訪問robots.txt文件，只需輸入：

www.simcf.cc/robots.txt(替換自己的域名即可)；

此可用性意味著您無法保護或隱藏其中的任何數據。此外，惡意機器人和惡意抓取工具可以利用robots.txt文件，將其用作詳細地圖來瀏覽最有價值的網頁。

另外，請記住，robots.txt命令實際上是指令。這意味著即使您指示他們不要，搜索漫游器也可以抓取您的網站并將其編入索引。好消息是，大多數搜索引擎（如百度、360、Google、Bing、Yahoo和Yandex）都會遵守robots.txt指令。

robots.txt文件肯定有缺點。盡管如此，我強烈建議您將它們作為每個SEO活動的組成部分。各大搜索引擎承認并遵守robots.txt指令，并且在大多數情況下，讓搜索引擎承擔您的責任已經足夠了。

如何使用Robots.txt

Robots.txt文件非常靈活，可以以多種方式使用。然而，他們的主要好處是可以讓SEO專家一次性“允許”或“禁止”多個頁面，而無需逐一訪問每個頁面的代碼。

例如，您可以阻止來自內容的所有搜索抓取工具。喜歡這個：

用戶代理： *

不允許： /

User-agent: *
Disallow: /

或隱藏您網站的目錄結構和特定類別，如下所示：

用戶代理： *

禁止：/ no-index /

User-agent: *
Disallow: /no-index/

從搜索中排除多個頁面也很有用。只需解析您想要從搜索抓取工具中隱藏的網址。然后，在您的robots.txt中添加“disallow”命令，列出這些URL，并且，瞧！?– 各大搜索引擎不再顯示這些網頁。

但更重要的是，robots.txt文件允許您優先考慮某些頁面，類別，甚至是CSS和JS代碼?？纯聪旅娴睦樱?/p>

在這里，我們不允許使用WordPress頁面和特定類別，但是允許使用wp-content文件，JS插件，CSS樣式和博客。這種方法可以保證蜘蛛抓取并索引有用的代碼和類別。

還有一件重要的事情：robots.txt文件是您的sitemap.xml文件的可能位置之一。它應放置在用戶代理，禁止，允許和主機命令之后。喜歡這個：

注意：??您還可以將您的robots.txt文件手動添加到站長管理平臺，并且如果您的目標是百度站長工具。這是一種更安全的方法，因為這樣做可以保護您的內容免受競爭對手網站的網站管理員的影響。

盡管robots.txt結構和設置非常簡單，但正確設置的文件可以制作或打破您的SEO活動。小心使用設置：您可以輕易“不允許”整個網站，然后等待流量和客戶無濟于事。

結論

搜索引擎優化不僅僅是關鍵字，鏈接和內容。SEO的技術部分也很重要。事實上，它可以為您的整個數字營銷活動帶來不同。因此，請盡快學習如何正確使用和設置robots.txt文件協議。我希望我在本文中描述的做法和建議能夠指導您順利完成這一過程。