

IP地址(183) | 伺服器名稱 | 所屬國家 |
---|---|---|
66.249.88.3 | google-proxy-66-249-88-3.google.com | US |
66.249.84.192 | google-proxy-66-249-84-192.google.com | US |
66.249.88.27 | google-proxy-66-249-88-27.google.com | US |
66.249.88.31 | google-proxy-66-249-88-31.google.com | US |
66.249.89.221 | rate-limited-proxy-66-249-89-221.google.com | US |
66.249.92.47 | rate-limited-proxy-66-249-92-47.google.com | US |
66.249.84.223 | google-proxy-66-249-84-223.google.com | US |
66.249.84.221 | google-proxy-66-249-84-221.google.com | US |
66.249.92.49 | rate-limited-proxy-66-249-92-49.google.com | US |
66.249.88.4 | google-proxy-66-249-88-4.google.com | US |
66.249.88.29 | google-proxy-66-249-88-29.google.com | US |
66.249.84.209 | google-proxy-66-249-84-209.google.com | US |
66.249.88.8 | google-proxy-66-249-88-8.google.com | US |
66.249.84.211 | google-proxy-66-249-84-211.google.com | US |
66.249.84.207 | google-proxy-66-249-84-207.google.com | US |
74.125.151.130 | rate-limited-proxy-74-125-151-130.google.com | ? |
74.125.151.157 | rate-limited-proxy-74-125-151-157.google.com | US |
66.249.89.171 | rate-limited-proxy-66-249-89-171.google.com | GB |
74.125.151.159 | rate-limited-proxy-74-125-151-159.google.com | US |
66.249.83.54 | google-proxy-66-249-83-54.google.com | US |
66.249.84.238 | google-proxy-66-249-84-238.google.com | US |
66.249.83.47 | google-proxy-66-249-83-47.google.com | US |
66.249.83.49 | google-proxy-66-249-83-49.google.com | US |
66.249.83.51 | google-proxy-66-249-83-51.google.com | US |
66.249.83.41 | google-proxy-66-249-83-41.google.com | US |
66.249.83.45 | google-proxy-66-249-83-45.google.com | US |
66.102.9.136 | google-proxy-66-102-9-136.google.com | US |
66.102.9.132 | google-proxy-66-102-9-132.google.com | US |
66.102.9.134 | google-proxy-66-102-9-134.google.com | US |
66.249.88.139 | google-proxy-66-249-88-139.google.com | US |
66.249.88.142 | google-proxy-66-249-88-142.google.com | US |
66.249.88.145 | google-proxy-66-249-88-145.google.com | US |
66.249.89.231 | rate-limited-proxy-66-249-89-231.google.com | US |
66.249.84.195 | google-proxy-66-249-84-195.google.com | US |
66.249.89.227 | rate-limited-proxy-66-249-89-227.google.com | US |
66.249.84.199 | google-proxy-66-249-84-199.google.com | US |
66.249.84.193 | google-proxy-66-249-84-193.google.com | US |
66.249.84.222 | google-proxy-66-249-84-222.google.com | US |
66.249.92.152 | rate-limited-proxy-66-249-92-152.google.com | US |
66.249.84.197 | google-proxy-66-249-84-197.google.com | US |
209.85.238.66 | rate-limited-proxy-209-85-238-66.google.com | US |
66.249.90.30 | rate-limited-proxy-66-249-90-30.google.com | US |
209.85.238.93 | rate-limited-proxy-209-85-238-93.google.com | ? |
66.249.92.52 | rate-limited-proxy-66-249-92-52.google.com | US |
66.249.92.71 | rate-limited-proxy-66-249-92-71.google.com | US |
66.249.92.222 | rate-limited-proxy-66-249-92-222.google.com | US |
74.125.210.216 | google-proxy-74-125-210-216.google.com | US |
66.249.93.136 | google-proxy-66-249-93-136.google.com | US |
74.125.210.219 | google-proxy-74-125-210-219.google.com | US |
66.249.92.40 | rate-limited-proxy-66-249-92-40.google.com | US |
66.249.89.229 | rate-limited-proxy-66-249-89-229.google.com | US |
66.249.92.69 | rate-limited-proxy-66-249-92-69.google.com | US |
66.249.92.196 | rate-limited-proxy-66-249-92-196.google.com | US |
66.249.92.4 | rate-limited-proxy-66-249-92-4.google.com | US |
74.125.151.138 | rate-limited-proxy-74-125-151-138.google.com | US |
66.249.92.149 | rate-limited-proxy-66-249-92-149.google.com | US |
66.249.92.150 | rate-limited-proxy-66-249-92-150.google.com | US |
66.249.92.2 | rate-limited-proxy-66-249-92-2.google.com | US |
66.249.92.34 | rate-limited-proxy-66-249-92-34.google.com | US |
66.249.89.186 | rate-limited-proxy-66-249-89-186.google.com | GB |
66.249.92.129 | rate-limited-proxy-66-249-92-129.google.com | US |
66.249.92.15 | rate-limited-proxy-66-249-92-15.google.com | US |
66.249.92.14 | rate-limited-proxy-66-249-92-14.google.com | US |
66.249.89.188 | rate-limited-proxy-66-249-89-188.google.com | GB |
66.249.92.13 | rate-limited-proxy-66-249-92-13.google.com | US |
66.249.89.190 | rate-limited-proxy-66-249-89-190.google.com | GB |
66.249.92.33 | rate-limited-proxy-66-249-92-33.google.com | US |
66.249.92.35 | rate-limited-proxy-66-249-92-35.google.com | US |
66.249.89.173 | rate-limited-proxy-66-249-89-173.google.com | GB |
66.249.92.67 | rate-limited-proxy-66-249-92-67.google.com | US |
66.249.89.174 | rate-limited-proxy-66-249-89-174.google.com | GB |
66.249.91.178 | rate-limited-proxy-66-249-91-178.google.com | US |
66.249.92.198 | rate-limited-proxy-66-249-92-198.google.com | US |
74.125.151.173 | rate-limited-proxy-74-125-151-173.google.com | US |
74.125.217.108 | rate-limited-proxy-74-125-217-108.google.com | US |
66.249.92.68 | rate-limited-proxy-66-249-92-68.google.com | US |
66.249.89.172 | rate-limited-proxy-66-249-89-172.google.com | GB |
72.14.199.237 | rate-limited-proxy-72-14-199-237.google.com | US |
66.249.91.161 | rate-limited-proxy-66-249-91-161.google.com | US |
72.14.199.67 | rate-limited-proxy-72-14-199-67.google.com | US |
74.125.216.141 | rate-limited-proxy-74-125-216-141.google.com | US |
66.249.91.101 | rate-limited-proxy-66-249-91-101.google.com | US |
72.14.199.238 | rate-limited-proxy-72-14-199-238.google.com | US |
66.249.91.14 | rate-limited-proxy-66-249-91-14.google.com | US |
66.249.91.162 | rate-limited-proxy-66-249-91-162.google.com | US |
66.249.91.233 | rate-limited-proxy-66-249-91-233.google.com | ? |
66.249.91.234 | rate-limited-proxy-66-249-91-234.google.com | US |
72.14.199.73 | rate-limited-proxy-72-14-199-73.google.com | US |
72.14.199.71 | rate-limited-proxy-72-14-199-71.google.com | US |
74.125.216.99 | rate-limited-proxy-74-125-216-99.google.com | US |
72.14.199.236 | rate-limited-proxy-72-14-199-236.google.com | US |
72.14.199.72 | rate-limited-proxy-72-14-199-72.google.com | US |
74.125.216.110 | rate-limited-proxy-74-125-216-110.google.com | US |
74.125.216.108 | rate-limited-proxy-74-125-216-108.google.com | US |
66.249.90.97 | rate-limited-proxy-66-249-90-97.google.com | US |
66.249.89.237 | rate-limited-proxy-66-249-89-237.google.com | US |
74.125.216.109 | rate-limited-proxy-74-125-216-109.google.com | US |
74.125.217.41 | rate-limited-proxy-74-125-217-41.google.com | US |
66.249.91.34 | rate-limited-proxy-66-249-91-34.google.com | US |
66.249.91.33 | rate-limited-proxy-66-249-91-33.google.com | US |
66.249.91.163 | rate-limited-proxy-66-249-91-163.google.com | US |
66.249.89.236 | rate-limited-proxy-66-249-89-236.google.com | US |
66.249.89.238 | rate-limited-proxy-66-249-89-238.google.com | US |
IP地址(183) | 伺服器名稱 | 所屬國家 |
---|---|---|
66.249.83.54 | google-proxy-66-249-83-54.google.com | US |
66.249.84.238 | google-proxy-66-249-84-238.google.com | US |
66.249.83.47 | google-proxy-66-249-83-47.google.com | US |
66.249.83.49 | google-proxy-66-249-83-49.google.com | US |
66.249.83.51 | google-proxy-66-249-83-51.google.com | US |
66.249.83.41 | google-proxy-66-249-83-41.google.com | US |
66.249.83.45 | google-proxy-66-249-83-45.google.com | US |
66.102.9.136 | google-proxy-66-102-9-136.google.com | US |
66.102.9.132 | google-proxy-66-102-9-132.google.com | US |
66.102.9.134 | google-proxy-66-102-9-134.google.com | US |
通常不需要。除非您不希望資訊流網站或者APP對您的網站內容進行抓取,網站也不提供Feed訂閱服務,則可以考慮攔截此型別爬蟲。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Feedfetcher-Google 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: Feedfetcher-Google Disallow: /
您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
Google 使用 Feedfetcher 抓取 Google 播客、Google 新聞和 PubSubHubbub 的 RSS 或 Atom Feed。
Feedfetcher 會儲存並定期重新整理由應用或服務的使用者請求的 Feed。只有播客 Feed 才會在 Google 搜尋中編入索引;但是,如果 Feed 不符合 Atom 或 RSS 規範,仍可能被編入索引。對於這款由使用者控制的 Feed 抓取工具的工作原理,下文列出了一些常見問題的解答。
當使用者新增使用 Feedfetcher 資料的服務或應用時,Google 的 Feedfetcher 會嘗試獲取相應 Feed 的內容,以便將其顯示出來。由於 Feedfetcher 請求來自真實使用者的明確操作(而非來自自動抓取工具),因此 Feedfetcher 不會遵循 robots.txt 中的指令。
如果您的 Feed 是公開的,那麼 Google 無法限制使用者訪問該 Feed。一種解決辦法是,將網站配置為向使用者代理 Feedfetcher-Google
傳送 404、410 或其他錯誤狀態訊息。
如果您的 Feed 是由某個部落格或網站託管服務提供商提供的,請直接與相應服務提供商聯絡,限制使用者對您 Feed 的訪問。
對於大多數網站,Feedfetcher 平均每小時最多檢索一次 Feed。 某些經常更新的網站可能會更頻繁地重新整理。但請注意,由於網路延遲,Feedfetcher 在短時間內檢索您 Feed 的頻率可能略高。
Feedfetcher 會根據使用者安裝的服務或應用發出的請求檢索 Feed。所以可能的情況是,使用者請求的 Feed 網址不存在。
Feedfetcher 會根據使用者安裝的服務或應用發出的請求檢索 Feed。所以可能的情況是,發出請求的使用者知道您的“私密”伺服器,或者錯誤地輸入了您的“私密”伺服器。
只有在使用者已明確啟動從 Feed 請求資料的服務或應用後,Feedfetcher 才會檢索這些 Feed。Feedfetcher 會以真實使用者(而不是漫遊器)的身份執行,因此它會忽略 robots.txt 中的指令。由於 Feedfetcher 會充當多位使用者的代理,因此它會代表通過應用或服務請求相應 Feed 的所有使用者,僅針對這個共同的 Feed 提出 1 次請求,從而節省了頻寬。常見的 Feed 包括 RSS 和 Atom。
您可以將伺服器配置為向使用者代理 Feedfetcher-Google
傳送 404、410 或其他錯誤狀態訊息,從而阻止 Feedfetcher 抓取您的網站。
Feedfetcher 分佈在多臺計算機上,以便提升效能,並隨著網路規模的擴大而擴大其作用範圍。為了減少頻寬的使用量,所用的計算機通常位於它們正在網路中檢索的網站附近。
Feedfetcher 使用的 IP 地址會隨時發生變化。識別 Feedfetcher 請求的最佳方法是查詢其使用者代理 Feedfetcher-Google
。
一般來說,Feedfetcher 在指定的 Feed 檢索期間只從您的網站下載各檔案的一份副本。但在極少數情況下,計算機會關閉並重新啟動,這可能會導致 Feedfetcher 再次檢索最近訪問過的網頁。
與普通的網頁抓取工具不同,Feedfetcher 並不會跟蹤連結,它只會跟蹤使用 Feedfetcher 的服務或應用的使用者發來的請求。