必應如何查找和索引您的網站？（第一部分）

Sitemap: Sitemaps是Bing發現您網站所有頁面和內容的重要方式。它是一個文件，提供了關于網站上的URL、其他文件和內容（如圖片和視頻）的信息。Sitemap通知爬蟲您認為在網站中重要的頁面和文件。它還提供了額外的信息，比如頁面上次更新的時間。我們強烈建議使用XML Sitemap文件來幫助Bing發現網站中所有相關的URL和內容。請盡可能保持您的sitemap文件最新；實時刷新或至少每天刷新一次。這將使得舊的URL和失效鏈接可以及時被移除。

 

通過以下方式讓Bing獲取您的Sitemap：

使用Bing網站管理員工具的Sitemap工具提交它給Bing

將以下行插入到robots.txt文件中，并指定您的sitemap路徑：

Sitemap: http://example.com/sitemap_location.xml

一旦Bing知道您的Sitemap，Bing將定期對其進行抓取。除非網站發生重大變化，否則無需再次提交。

 

一般Sitemap指南：

Bing支持多種Sitemap格式，包括XML、RSS、MRSS、Atom 1.0和文本文件。

使用一致的URL。Bing只會精確抓取URL。

請在您的Sitemap中只列出規范的URL。

如果您的網站有多個版本（HTTP vs HTTPS，或移動版 vs 桌面版），我們建議在Sitemap中只指向一個版本。如果您決定為移動版和桌面版提供獨特的URL體驗，請使用rel="alternate"屬性進行標注。

如果您的網站有多種語言或地區的多個頁面，請在Sitemap或HTML標簽中使用hreflang標記來標識備用的URL。

使用<lastmod>屬性指示內容上次修改的日期和時間。

Sitemap的最大大小為50,000個URL/50MB（未壓縮）。如果您的網站很大，可以考慮將大型Sitemap拆分成較小的Sitemap，并使用Sitemap索引文件列出所有單獨的Sitemap。

在robots.txt中引用您的Sitemap。

如果自從Bing抓取Sitemap以來您沒有對其進行更改，則無需再次提交也不會有益處。

 

使用Sitemap并不保證Sitemap中的所有項目都會被抓取和索引；然而，在大多數情況下，擁有Sitemap會帶來好處，因為它為爬蟲提供了推薦和指導。

 

使用IndexNow API或Bing URL或內容提交API立即反映網站變化。如果您無法采用這些API，我們建議通過Bing網站管理員工具直接提交更新的URL，或者將它們包含在您的Sitemap中。

 

鏈接：傳統上，鏈接被視為確定網站受歡迎程度的信號。讓其他網站鏈接到您的網站的最佳方法是創建獨特和高質量的內容。Bing的爬蟲（Bingbot）會遵循您網站內部的鏈接（內部鏈接）或從其他網站（外部鏈接）獲取鏈接，從而幫助Bing發現新內容和新頁面。

 

Bing建議將網站上的所有頁面鏈接至至少一個其他可發現和可抓取的頁面。

可抓取的鏈接是帶有href屬性的<a>標簽。引用鏈接應包含與頁面相關的文本或圖像alt屬性。

每個頁面上的鏈接數量應合理，不超過幾千個鏈接。

合理努力確保網站上的任何付費或廣告鏈接使用rel="nofollow"或rel="sponsored"或rel="ugc"屬性，以防止爬蟲跟蹤這些鏈接，并避免對搜索排名產生潛在影響。

Bing獎勵自然增長的鏈接；即隨著時間逐漸增加的鏈接，這些鏈接是來自其他受信任、相關的網站的內容創作者向您網站的真實用戶傳送的。計劃以有機的方式構建內部和外部鏈接。

 

濫用策略，旨在夸大入站鏈接的數量和性質，如購買鏈接、參與鏈接方案（鏈接農場、鏈接垃圾郵件和過度鏈接操縱）可能導致您的網站被懲罰并從Bing索引中刪除。

 

限制網頁數量：限制網站上的頁面數量為合理數量。避免在網站內部生成重復內容；通過以下方式幫助我們消除重復內容：

通過使用規范標簽避免輸出相同內容的不同URL。

配置您的網站和URL參數，以提高爬取效率，并幫助減少指向相同內容的多個URL的多個變體。

避免使用專門的移動URL。嘗試為桌面用戶和移動用戶使用相同的URL。

 

恰當使用重定向：如果您將網站上的內容移動到另一個位置，請至少使用HTTP 301永久重定向三個月。如果移動是臨時的，即少于一天，請使用302臨時重定向。在網站內容從一個位置移動到另一個位置時，避免使用rel=canonical標簽來取代適當的重定向。

 

讓Bing抓取更多內容：網站管理員工具的爬取控制功能允許您管理Bingbot對您的內容的爬取，包括何時以及以何種速度。我們鼓勵網站管理員啟用Bingbot快速而深入地爬取網站，以確保盡可能多地發現和索引內容。

 

JavaScript：Bing可以處理JavaScript，但在最小化HTTP請求的同時處理大規模的JavaScript存在一定限制。Bing建議使用動態渲染在特定用戶代理（例如Bingbot）之間切換客戶端渲染和預渲染內容，特別是對于大型網站。

 

通過返回404“未找到”HTTP代碼來刪除內容。通過使用Bing內容移除和頁面移除工具加快內容刪除。內容刪除請求最長持續90天，您需要更新它，否則內容可能會重新出現在搜索結果中。

 

robots.txt：robots.txt文件通知Bingbot等搜索引擎爬蟲可以或不可以訪問您網站上的哪些頁面和文件。robots.txt主要用于指導和管理爬蟲流量，例如您可以告訴Bingbot不要爬取諸如搜索結果頁面或登錄頁面之類的不那么有用的內容。

將robots.txt放置在您網站的根目錄（最頂級的目錄）中。不要將其放置在子目錄中。

阻止Bing爬取某個頁面可能會將該頁面從索引中移除。然而，使用Disallow并不能保證頁面不會出現在索引或搜索結果中。如果您想要阻止某個特定頁面被爬取或索引，您應該使用noindex的robots meta標簽，而不是在robots.txt中禁止它。

經常審查您的robots.txt以確保其是最新的。在Bing網站管理員工具中審查被robots.txt禁止的URL，以確保其保持準確。

通過閱讀如何創建robots.txt文本文件來了解更多信息。

 

節省資源：使用HTTP壓縮和條件獲取以減少爬蟲和您的客戶使用的帶寬，同時提高頁面加載速度。