Feedfetcher-Google

Feedfetcher-Google蜘蛛/爬蟲屬於資訊流型別,由Google Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Feedfetcher-Google基本資訊,使用者代理和訪問控制等。

基本資訊

Feedfetcher-Google的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲,可能存在資訊不明的情況。
蜘蛛/爬蟲名稱
Feedfetcher-Google
型別
資訊流
開發商
Google Inc.
當前狀態
活動

使用者代理

關於Feedfetcher-Google蜘蛛或者爬蟲的使用者代理字串,IP地址和伺服器,所在地等資訊如下表格所示:
Feedfetcher-Google
使用者代理字串
Mozilla/5.0 (compatible) Feedfetcher-Google; (+http://www.google.com/feedfetcher.html)
首次出現
2016-01-17 05:14:26
最後出現
2022-02-22 08:03:24
遵循robots.txt
未知
來源
IP地址(183) 伺服器名稱 所屬國家
66.249.88.3 google-proxy-66-249-88-3.google.com US
66.249.84.192 google-proxy-66-249-84-192.google.com US
66.249.88.27 google-proxy-66-249-88-27.google.com US
66.249.88.31 google-proxy-66-249-88-31.google.com US
66.249.89.221 rate-limited-proxy-66-249-89-221.google.com US
66.249.92.47 rate-limited-proxy-66-249-92-47.google.com US
66.249.84.223 google-proxy-66-249-84-223.google.com US
66.249.84.221 google-proxy-66-249-84-221.google.com US
66.249.92.49 rate-limited-proxy-66-249-92-49.google.com US
66.249.88.4 google-proxy-66-249-88-4.google.com US
66.249.88.29 google-proxy-66-249-88-29.google.com US
66.249.84.209 google-proxy-66-249-84-209.google.com US
66.249.88.8 google-proxy-66-249-88-8.google.com US
66.249.84.211 google-proxy-66-249-84-211.google.com US
66.249.84.207 google-proxy-66-249-84-207.google.com US
74.125.151.130 rate-limited-proxy-74-125-151-130.google.com ?
74.125.151.157 rate-limited-proxy-74-125-151-157.google.com US
66.249.89.171 rate-limited-proxy-66-249-89-171.google.com GB
74.125.151.159 rate-limited-proxy-74-125-151-159.google.com US
66.249.83.54 google-proxy-66-249-83-54.google.com US
66.249.84.238 google-proxy-66-249-84-238.google.com US
66.249.83.47 google-proxy-66-249-83-47.google.com US
66.249.83.49 google-proxy-66-249-83-49.google.com US
66.249.83.51 google-proxy-66-249-83-51.google.com US
66.249.83.41 google-proxy-66-249-83-41.google.com US
66.249.83.45 google-proxy-66-249-83-45.google.com US
66.102.9.136 google-proxy-66-102-9-136.google.com US
66.102.9.132 google-proxy-66-102-9-132.google.com US
66.102.9.134 google-proxy-66-102-9-134.google.com US
66.249.88.139 google-proxy-66-249-88-139.google.com US
66.249.88.142 google-proxy-66-249-88-142.google.com US
66.249.88.145 google-proxy-66-249-88-145.google.com US
66.249.89.231 rate-limited-proxy-66-249-89-231.google.com US
66.249.84.195 google-proxy-66-249-84-195.google.com US
66.249.89.227 rate-limited-proxy-66-249-89-227.google.com US
66.249.84.199 google-proxy-66-249-84-199.google.com US
66.249.84.193 google-proxy-66-249-84-193.google.com US
66.249.84.222 google-proxy-66-249-84-222.google.com US
66.249.92.152 rate-limited-proxy-66-249-92-152.google.com US
66.249.84.197 google-proxy-66-249-84-197.google.com US
209.85.238.66 rate-limited-proxy-209-85-238-66.google.com US
66.249.90.30 rate-limited-proxy-66-249-90-30.google.com US
209.85.238.93 rate-limited-proxy-209-85-238-93.google.com ?
66.249.92.52 rate-limited-proxy-66-249-92-52.google.com US
66.249.92.71 rate-limited-proxy-66-249-92-71.google.com US
66.249.92.222 rate-limited-proxy-66-249-92-222.google.com US
74.125.210.216 google-proxy-74-125-210-216.google.com US
66.249.93.136 google-proxy-66-249-93-136.google.com US
74.125.210.219 google-proxy-74-125-210-219.google.com US
66.249.92.40 rate-limited-proxy-66-249-92-40.google.com US
66.249.89.229 rate-limited-proxy-66-249-89-229.google.com US
66.249.92.69 rate-limited-proxy-66-249-92-69.google.com US
66.249.92.196 rate-limited-proxy-66-249-92-196.google.com US
66.249.92.4 rate-limited-proxy-66-249-92-4.google.com US
74.125.151.138 rate-limited-proxy-74-125-151-138.google.com US
66.249.92.149 rate-limited-proxy-66-249-92-149.google.com US
66.249.92.150 rate-limited-proxy-66-249-92-150.google.com US
66.249.92.2 rate-limited-proxy-66-249-92-2.google.com US
66.249.92.34 rate-limited-proxy-66-249-92-34.google.com US
66.249.89.186 rate-limited-proxy-66-249-89-186.google.com GB
66.249.92.129 rate-limited-proxy-66-249-92-129.google.com US
66.249.92.15 rate-limited-proxy-66-249-92-15.google.com US
66.249.92.14 rate-limited-proxy-66-249-92-14.google.com US
66.249.89.188 rate-limited-proxy-66-249-89-188.google.com GB
66.249.92.13 rate-limited-proxy-66-249-92-13.google.com US
66.249.89.190 rate-limited-proxy-66-249-89-190.google.com GB
66.249.92.33 rate-limited-proxy-66-249-92-33.google.com US
66.249.92.35 rate-limited-proxy-66-249-92-35.google.com US
66.249.89.173 rate-limited-proxy-66-249-89-173.google.com GB
66.249.92.67 rate-limited-proxy-66-249-92-67.google.com US
66.249.89.174 rate-limited-proxy-66-249-89-174.google.com GB
66.249.91.178 rate-limited-proxy-66-249-91-178.google.com US
66.249.92.198 rate-limited-proxy-66-249-92-198.google.com US
74.125.151.173 rate-limited-proxy-74-125-151-173.google.com US
74.125.217.108 rate-limited-proxy-74-125-217-108.google.com US
66.249.92.68 rate-limited-proxy-66-249-92-68.google.com US
66.249.89.172 rate-limited-proxy-66-249-89-172.google.com GB
72.14.199.237 rate-limited-proxy-72-14-199-237.google.com US
66.249.91.161 rate-limited-proxy-66-249-91-161.google.com US
72.14.199.67 rate-limited-proxy-72-14-199-67.google.com US
74.125.216.141 rate-limited-proxy-74-125-216-141.google.com US
66.249.91.101 rate-limited-proxy-66-249-91-101.google.com US
72.14.199.238 rate-limited-proxy-72-14-199-238.google.com US
66.249.91.14 rate-limited-proxy-66-249-91-14.google.com US
66.249.91.162 rate-limited-proxy-66-249-91-162.google.com US
66.249.91.233 rate-limited-proxy-66-249-91-233.google.com ?
66.249.91.234 rate-limited-proxy-66-249-91-234.google.com US
72.14.199.73 rate-limited-proxy-72-14-199-73.google.com US
72.14.199.71 rate-limited-proxy-72-14-199-71.google.com US
74.125.216.99 rate-limited-proxy-74-125-216-99.google.com US
72.14.199.236 rate-limited-proxy-72-14-199-236.google.com US
72.14.199.72 rate-limited-proxy-72-14-199-72.google.com US
74.125.216.110 rate-limited-proxy-74-125-216-110.google.com US
74.125.216.108 rate-limited-proxy-74-125-216-108.google.com US
66.249.90.97 rate-limited-proxy-66-249-90-97.google.com US
66.249.89.237 rate-limited-proxy-66-249-89-237.google.com US
74.125.216.109 rate-limited-proxy-74-125-216-109.google.com US
74.125.217.41 rate-limited-proxy-74-125-217-41.google.com US
66.249.91.34 rate-limited-proxy-66-249-91-34.google.com US
66.249.91.33 rate-limited-proxy-66-249-91-33.google.com US
66.249.91.163 rate-limited-proxy-66-249-91-163.google.com US
66.249.89.236 rate-limited-proxy-66-249-89-236.google.com US
66.249.89.238 rate-limited-proxy-66-249-89-238.google.com US
使用者代理字串
Mozilla/5.0 (compatible) Feedfetcher-Google; (+http://www.google.com/feedfetcher.html)
首次出現
2016-01-17 05:14:26
最後出現
2022-02-22 08:03:24
遵循robots.txt
未知
來源
IP地址(183) 伺服器名稱 所屬國家
66.249.83.54 google-proxy-66-249-83-54.google.com US
66.249.84.238 google-proxy-66-249-84-238.google.com US
66.249.83.47 google-proxy-66-249-83-47.google.com US
66.249.83.49 google-proxy-66-249-83-49.google.com US
66.249.83.51 google-proxy-66-249-83-51.google.com US
66.249.83.41 google-proxy-66-249-83-41.google.com US
66.249.83.45 google-proxy-66-249-83-45.google.com US
66.102.9.136 google-proxy-66-102-9-136.google.com US
66.102.9.132 google-proxy-66-102-9-132.google.com US
66.102.9.134 google-proxy-66-102-9-134.google.com US

訪問控制

瞭解如何控制Feedfetcher-Google訪問許可權,避免Feedfetcher-Google抓取行為不當。

是否攔截Feedfetcher-Google?

通常不需要。除非您不希望資訊流網站或者APP對您的網站內容進行抓取,網站也不提供Feed訂閱服務,則可以考慮攔截此型別爬蟲。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Feedfetcher-Google 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: Feedfetcher-Google
Disallow: /
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: Feedfetcher-Google Disallow: /
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: Feedfetcher-Google
Disallow: /

您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

更多資訊

Google 使用 Feedfetcher 抓取 Google 播客、Google 新聞和 PubSubHubbub 的 RSS 或 Atom Feed。

Feedfetcher 會儲存並定期重新整理由應用或服務的使用者請求的 Feed。只有播客 Feed 才會在 Google 搜尋中編入索引;但是,如果 Feed 不符合 Atom 或 RSS 規範,仍可能被編入索引。對於這款由使用者控制的 Feed 抓取工具的工作原理,下文列出了一些常見問題的解答。

當使用者新增使用 Feedfetcher 資料的服務或應用時,Google 的 Feedfetcher 會嘗試獲取相應 Feed 的內容,以便將其顯示出來。由於 Feedfetcher 請求來自真實使用者的明確操作(而非來自自動抓取工具),因此 Feedfetcher 不會遵循 robots.txt 中的指令。

如果您的 Feed 是公開的,那麼 Google 無法限制使用者訪問該 Feed。一種解決辦法是,將網站配置為向使用者代理 Feedfetcher-Google 傳送 404、410 或其他錯誤狀態訊息。

如果您的 Feed 是由某個部落格或網站託管服務提供商提供的,請直接與相應服務提供商聯絡,限制使用者對您 Feed 的訪問。

對於大多數網站,Feedfetcher 平均每小時最多檢索一次 Feed。 某些經常更新的網站可能會更頻繁地重新整理。但請注意,由於網路延遲,Feedfetcher 在短時間內檢索您 Feed 的頻率可能略高。

Feedfetcher 會根據使用者安裝的服務或應用發出的請求檢索 Feed。所以可能的情況是,使用者請求的 Feed 網址不存在。

Feedfetcher 會根據使用者安裝的服務或應用發出的請求檢索 Feed。所以可能的情況是,發出請求的使用者知道您的“私密”伺服器,或者錯誤地輸入了您的“私密”伺服器。

只有在使用者已明確啟動從 Feed 請求資料的服務或應用後,Feedfetcher 才會檢索這些 Feed。Feedfetcher 會以真實使用者(而不是漫遊器)的身份執行,因此它會忽略 robots.txt 中的指令。由於 Feedfetcher 會充當多位使用者的代理,因此它會代表通過應用或服務請求相應 Feed 的所有使用者,僅針對這個共同的 Feed 提出 1 次請求,從而節省了頻寬。常見的 Feed 包括 RSS 和 Atom

您可以將伺服器配置為向使用者代理 Feedfetcher-Google 傳送 404、410 或其他錯誤狀態訊息,從而阻止 Feedfetcher 抓取您的網站。

Feedfetcher 分佈在多臺計算機上,以便提升效能,並隨著網路規模的擴大而擴大其作用範圍。為了減少頻寬的使用量,所用的計算機通常位於它們正在網路中檢索的網站附近。

Feedfetcher 使用的 IP 地址會隨時發生變化。識別 Feedfetcher 請求的最佳方法是查詢其使用者代理 Feedfetcher-Google

一般來說,Feedfetcher 在指定的 Feed 檢索期間只從您的網站下載各檔案的一份副本。但在極少數情況下,計算機會關閉並重新啟動,這可能會導致 Feedfetcher 再次檢索最近訪問過的網頁。

與普通的網頁抓取工具不同,Feedfetcher 並不會跟蹤連結,它只會跟蹤使用 Feedfetcher 的服務或應用的使用者發來的請求。

常見蜘蛛/爬蟲

Common Spiders
Twitterbot
Twitterbot蜘蛛/爬蟲屬於資訊流型別,由X Corp.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Twitterbot基本資訊,使用者代理和訪問控制等。
SeznamBot
SeznamBot蜘蛛/爬蟲屬於搜尋引擎型別,由Seznam.cz, a.s.開發執行。您可以繼續閱讀下方資訊,以深入瞭解SeznamBot基本資訊,使用者代理和訪問控制等。
Blogtrottr
Blogtrottr蜘蛛/爬蟲屬於資訊流型別,由Blogtrottr Ltd.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Blogtrottr基本資訊,使用者代理和訪問控制等。
RSSingBot
RSSingBot蜘蛛/爬蟲屬於資訊流型別,由RSSING.COM開發執行。您可以繼續閱讀下方資訊,以深入瞭解RSSingBot基本資訊,使用者代理和訪問控制等。
WordPress.com bots
WordPress.com bots蜘蛛/爬蟲屬於資訊流型別,由Automattic Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解WordPress.com bots基本資訊,使用者代理和訪問控制等。
Feedspotbot
Feedspotbot蜘蛛/爬蟲屬於資訊流型別,由Feedspot開發執行。您可以繼續閱讀下方資訊,以深入瞭解Feedspotbot基本資訊,使用者代理和訪問控制等。
Discordbot
Discordbot蜘蛛/爬蟲屬於資訊流型別,由Discord Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Discordbot基本資訊,使用者代理和訪問控制等。
Awario crawler
Awario crawler蜘蛛/爬蟲屬於營銷型別,由Link-Assistant.Com開發執行。您可以繼續閱讀下方資訊,以深入瞭解Awario crawler基本資訊,使用者代理和訪問控制等。

相關文章

Related Articles