如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案，分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點，及檢視搜尋引擎蜘蛛在一段時間內的行為。
Feedfetcher-Google
Feedfetcher-Google蜘蛛/爬蟲屬於資訊流型別，由Google Inc.開發執行。您可以繼續閱讀下方資訊，以深入瞭解Feedfetcher-Google基本資訊，使用者代理和訪問控制等。
基本資訊
Feedfetcher-Google的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲，可能存在資訊不明的情況。
使用者代理
關於Feedfetcher-Google蜘蛛或者爬蟲的使用者代理字串，IP地址和伺服器，所在地等資訊如下表格所示：
Feedfetcher-Google
- Feedfetcher-Google
- Feedfetcher-Google
- 使用者代理字串
- Mozilla/5.0 (compatible) Feedfetcher-Google; (+http://www.google.com/feedfetcher.html)
- 首次出現
- 2016-01-17 05:14:26
- 最後出現
- 2022-02-22 08:03:24
- 遵循robots.txt
- 未知
- 來源
-
IP地址(103) 伺服器名稱 所屬國家 66.249.88.3 google-proxy-66-249-88-3.google.com US 66.249.84.192 google-proxy-66-249-84-192.google.com US 66.249.88.27 google-proxy-66-249-88-27.google.com US 66.249.88.31 google-proxy-66-249-88-31.google.com US 66.249.89.221 rate-limited-proxy-66-249-89-221.google.com US
- 使用者代理字串
- Mozilla/5.0 (compatible) Feedfetcher-Google; (+http://www.google.com/feedfetcher.html)
- 首次出現
- 2016-01-17 05:14:26
- 最後出現
- 2022-02-22 08:03:24
- 遵循robots.txt
- 未知
- 來源
-
IP地址(10) 伺服器名稱 所屬國家 66.249.83.54 google-proxy-66-249-83-54.google.com US 66.249.84.238 google-proxy-66-249-84-238.google.com US 66.249.83.47 google-proxy-66-249-83-47.google.com US 66.249.83.49 google-proxy-66-249-83-49.google.com US 66.249.83.51 google-proxy-66-249-83-51.google.com US
訪問控制
瞭解如何控制Feedfetcher-Google訪問許可權，避免Feedfetcher-Google抓取行為不當。
是否攔截Feedfetcher-Google？
通常不需要。除非您不希望資訊流網站或者APP對您的網站內容進行抓取，網站也不提供Feed訂閱服務，則可以考慮攔截此型別爬蟲。
通過Robots.txt攔截
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Feedfetcher-Google 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: Feedfetcher-Google Disallow: /
您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
更多資訊
Google 使用 Feedfetcher 抓取 Google 播客、Google 新聞和 PubSubHubbub 的 RSS 或 Atom Feed。
Feedfetcher 會儲存並定期重新整理由應用或服務的使用者請求的 Feed。只有播客 Feed 才會在 Google 搜尋中編入索引；但是，如果 Feed 不符合 Atom 或 RSS 規範，仍可能被編入索引。對於這款由使用者控制的 Feed 抓取工具的工作原理，下文列出了一些常見問題的解答。
如何請求 Google 不檢索我網站中的部分或全部 Feed？
當使用者新增使用 Feedfetcher 資料的服務或應用時，Google 的 Feedfetcher 會嘗試獲取相應 Feed 的內容，以便將其顯示出來。由於 Feedfetcher 請求來自真實使用者的明確操作（而非來自自動抓取工具），因此 Feedfetcher 不會遵循 robots.txt 中的指令。
如果您的 Feed 是公開的，那麼 Google 無法限制使用者訪問該 Feed。一種解決辦法是，將網站配置為向使用者代理 Feedfetcher-Google 傳送 404、410 或其他錯誤狀態訊息。
如果您的 Feed 是由某個部落格或網站託管服務提供商提供的，請直接與相應服務提供商聯絡，限制使用者對您 Feed 的訪問。
Feedfetcher 多久檢索一次我的 Feed？
對於大多數網站，Feedfetcher 平均每小時最多檢索一次 Feed。 某些經常更新的網站可能會更頻繁地重新整理。但請注意，由於網路延遲，Feedfetcher 在短時間內檢索您 Feed 的頻率可能略高。
為什麼 Feedfetcher 會嘗試從我的伺服器或從根本不存在的網域下載不正確的連結？
Feedfetcher 會根據使用者安裝的服務或應用發出的請求檢索 Feed。所以可能的情況是，使用者請求的 Feed 網址不存在。
為什麼 Feedfetcher 會從我的“私密”網路伺服器下載資訊？
Feedfetcher 會根據使用者安裝的服務或應用發出的請求檢索 Feed。所以可能的情況是，發出請求的使用者知道您的“私密”伺服器，或者錯誤地輸入了您的“私密”伺服器。
為什麼 Feedfetcher 不遵循我的 robots.
只有在使用者已明確啟動從 Feed 請求資料的服務或應用後，Feedfetcher 才會檢索這些 Feed。Feedfetcher 會以真實使用者（而不是漫遊器）的身份執行，因此它會忽略 robots.txt 中的指令。由於 Feedfetcher 會充當多位使用者的代理，因此它會代表通過應用或服務請求相應 Feed 的所有使用者，僅針對這個共同的 Feed 提出 1 次請求，從而節省了頻寬。常見的 Feed 包括 RSS 和 Atom。
您可以將伺服器配置為向使用者代理 Feedfetcher-Google 傳送 404、410 或其他錯誤狀態訊息，從而阻止 Feedfetcher 抓取您的網站。
為什麼會有來自 Google.
Feedfetcher 分佈在多臺計算機上，以便提升效能，並隨著網路規模的擴大而擴大其作用範圍。為了減少頻寬的使用量，所用的計算機通常位於它們正在網路中檢索的網站附近。
能否將 Feedfetcher 提出請求時所用的 IP 地址告訴我，以便我過濾日誌？
Feedfetcher 使用的 IP 地址會隨時發生變化。識別 Feedfetcher 請求的最佳方法是查詢其使用者代理 Feedfetcher-Google。
為什麼 Feedfetcher 會多次下載我網站上的同一網頁？
一般來說，Feedfetcher 在指定的 Feed 檢索期間只從您的網站下載各檔案的一份副本。但在極少數情況下，計算機會關閉並重新啟動，這可能會導致 Feedfetcher 再次檢索最近訪問過的網頁。
Feedfetcher 會跟蹤哪些型別的連結？
與普通的網頁抓取工具不同，Feedfetcher 並不會跟蹤連結，它只會跟蹤使用 Feedfetcher 的服務或應用的使用者發來的請求。
站長工具
我們為站長量身定做的高效工具集。
常見蜘蛛/爬蟲
Common Spiders
Mobian bot
Mobian bot蜘蛛/爬蟲屬於資訊流型別，由Mobian LLC開發執行。您可以繼續閱讀下方資訊，以深入瞭解Mobian bot基本資訊，使用者代理和訪問控制等。
VeryHip Bot
VeryHip Bot蜘蛛/爬蟲屬於資訊流型別，由VeryHip開發執行。您可以繼續閱讀下方資訊，以深入瞭解VeryHip Bot基本資訊，使用者代理和訪問控制等。
Lenns.io
Lenns.io蜘蛛/爬蟲屬於資訊流型別，由Stanislav Bozhkov開發執行。您可以繼續閱讀下方資訊，以深入瞭解Lenns.io基本資訊，使用者代理和訪問控制等。
Twitterbot
Twitterbot蜘蛛/爬蟲屬於資訊流型別，由X Corp.開發執行。您可以繼續閱讀下方資訊，以深入瞭解Twitterbot基本資訊，使用者代理和訪問控制等。
SeznamBot
SeznamBot蜘蛛/爬蟲屬於搜尋引擎型別，由Seznam.cz, a.s.開發執行。您可以繼續閱讀下方資訊，以深入瞭解SeznamBot基本資訊，使用者代理和訪問控制等。
Blogtrottr
Blogtrottr蜘蛛/爬蟲屬於資訊流型別，由Blogtrottr Ltd.開發執行。您可以繼續閱讀下方資訊，以深入瞭解Blogtrottr基本資訊，使用者代理和訪問控制等。
RSSingBot
RSSingBot蜘蛛/爬蟲屬於資訊流型別，由RSSING.COM開發執行。您可以繼續閱讀下方資訊，以深入瞭解RSSingBot基本資訊，使用者代理和訪問控制等。
WordPress.com bots
WordPress.com bots蜘蛛/爬蟲屬於資訊流型別，由Automattic Inc.開發執行。您可以繼續閱讀下方資訊，以深入瞭解WordPress.com bots基本資訊，使用者代理和訪問控制等。
相關文章
Related Articles 
什麼是抓取預算（Crawl Budget）及如何最大化其利用價值
抓取預算（Crawl Budget），您又可以將之稱為抓取頻率、抓取量。這個量一般是由搜尋引擎蜘蛛根據網站的質量度和權重給域名分配的。理解抓取預算的定義，重要性及最大化其效率，這有利於網站的索引、排名。
怎樣才算有利於SEO的網站結構
眾所周知，扁平且層級不超過三級的網站結構是最有利於搜尋引擎蜘蛛爬取的。顯淺的一句看似易懂但如深入，又未必是那麼容易理解。下面我們將深入瞭解網站結構的定義，重要性及實踐，以便於各位技術開發、站長和SEOer在未來的網站開發及運營中應用。
為什麼要控制Googlebot抓取速度？
在本文中，我們將瞭解您為什麼要控制Googlebot以及如何控制Googlebot和其他搜尋引擎爬蟲的抓取速度。
如何攔截Google和Bing訪問您的網站？
在本文中，我們將解釋如何遮蔽Googlebot和Bingbot，遮蔽爬蟲後會發生什麼以及出現爬取問題的常見原因。
Bing網站管理員工具Bingbot網站爬取頻率設定
Bing網站管理員工具中的爬網空間功能允許網站管理員控制Bingbot抓取您的網站的速率。當您的網站上有訪問者以適當地管理頻寬時，需要進行爬網控制以限制Bingbot和Googlebot等搜尋引擎蜘蛛的活動。
WordPress攔截IP地址的6種方法
當網站規模擴大時，您需要採取某些措施來限制來自評論垃圾郵件傳送者、無效機器人和人類攻擊者的流量。這對於保護您的伺服器資源可用於真實使用者以及您支付託管費用以獲得真實訪問者至關重要。在本文中，我們將解釋在WordPress中攔截IP地址的6種方法。
如何禁止搜尋引擎索引WordPress網站
您可能想要隱藏站點上的內容的原因有很多，但依靠“建議搜尋引擎不索引本站點”選項並不是確保此類內容不被看到的最佳方法。除非您想在網路上隱藏您的整個網站，否則永遠不要單擊此選項，因為如果不小心切換，它會對您的SEO造成巨大損害。