Feedfetcher-Google Feedfetcher-Google

蜘蛛/爬虫名称
Feedfetcher-Google
开发商
Google Inc.
官网
about.google
当前状态
活动
  • Feedfetcher-Google
  • Feedfetcher-Google
用户代理字符串
Mozilla/5.0 (compatible) Feedfetcher-Google; (+http://www.google.com/feedfetcher.html)
类型
信息流
首次出现
2016-01-17 05:14:26
最后出现
2022-02-22 08:03:24
遵循robots.txt
IP地址
183
来源
IP地址 服务器名称 所属国家
66.249.88.3 google-proxy-66-249-88-3.google.com US
66.249.84.192 google-proxy-66-249-84-192.google.com US
66.249.88.27 google-proxy-66-249-88-27.google.com US
66.249.88.31 google-proxy-66-249-88-31.google.com US
66.249.89.221 rate-limited-proxy-66-249-89-221.google.com US
66.249.92.47 rate-limited-proxy-66-249-92-47.google.com US
66.249.84.223 google-proxy-66-249-84-223.google.com US
66.249.84.221 google-proxy-66-249-84-221.google.com US
66.249.92.49 rate-limited-proxy-66-249-92-49.google.com US
66.249.88.4 google-proxy-66-249-88-4.google.com US
66.249.88.29 google-proxy-66-249-88-29.google.com US
66.249.84.209 google-proxy-66-249-84-209.google.com US
66.249.88.8 google-proxy-66-249-88-8.google.com US
66.249.84.211 google-proxy-66-249-84-211.google.com US
66.249.84.207 google-proxy-66-249-84-207.google.com US
74.125.151.130 rate-limited-proxy-74-125-151-130.google.com ?
74.125.151.157 rate-limited-proxy-74-125-151-157.google.com US
66.249.89.171 rate-limited-proxy-66-249-89-171.google.com GB
74.125.151.159 rate-limited-proxy-74-125-151-159.google.com US
66.249.83.54 google-proxy-66-249-83-54.google.com US
66.249.84.238 google-proxy-66-249-84-238.google.com US
66.249.83.47 google-proxy-66-249-83-47.google.com US
66.249.83.49 google-proxy-66-249-83-49.google.com US
66.249.83.51 google-proxy-66-249-83-51.google.com US
66.249.83.41 google-proxy-66-249-83-41.google.com US
66.249.83.45 google-proxy-66-249-83-45.google.com US
66.102.9.136 google-proxy-66-102-9-136.google.com US
66.102.9.132 google-proxy-66-102-9-132.google.com US
66.102.9.134 google-proxy-66-102-9-134.google.com US
66.249.88.139 google-proxy-66-249-88-139.google.com US
66.249.88.142 google-proxy-66-249-88-142.google.com US
66.249.88.145 google-proxy-66-249-88-145.google.com US
66.249.89.231 rate-limited-proxy-66-249-89-231.google.com US
66.249.84.195 google-proxy-66-249-84-195.google.com US
66.249.89.227 rate-limited-proxy-66-249-89-227.google.com US
66.249.84.199 google-proxy-66-249-84-199.google.com US
66.249.84.193 google-proxy-66-249-84-193.google.com US
66.249.84.222 google-proxy-66-249-84-222.google.com US
66.249.92.152 rate-limited-proxy-66-249-92-152.google.com US
66.249.84.197 google-proxy-66-249-84-197.google.com US
209.85.238.66 rate-limited-proxy-209-85-238-66.google.com US
66.249.90.30 rate-limited-proxy-66-249-90-30.google.com US
209.85.238.93 rate-limited-proxy-209-85-238-93.google.com ?
66.249.92.52 rate-limited-proxy-66-249-92-52.google.com US
66.249.92.71 rate-limited-proxy-66-249-92-71.google.com US
66.249.92.222 rate-limited-proxy-66-249-92-222.google.com US
74.125.210.216 google-proxy-74-125-210-216.google.com US
66.249.93.136 google-proxy-66-249-93-136.google.com US
74.125.210.219 google-proxy-74-125-210-219.google.com US
66.249.92.40 rate-limited-proxy-66-249-92-40.google.com US
66.249.89.229 rate-limited-proxy-66-249-89-229.google.com US
66.249.92.69 rate-limited-proxy-66-249-92-69.google.com US
66.249.92.196 rate-limited-proxy-66-249-92-196.google.com US
66.249.92.4 rate-limited-proxy-66-249-92-4.google.com US
74.125.151.138 rate-limited-proxy-74-125-151-138.google.com US
66.249.92.149 rate-limited-proxy-66-249-92-149.google.com US
66.249.92.150 rate-limited-proxy-66-249-92-150.google.com US
66.249.92.2 rate-limited-proxy-66-249-92-2.google.com US
66.249.92.34 rate-limited-proxy-66-249-92-34.google.com US
66.249.89.186 rate-limited-proxy-66-249-89-186.google.com GB
66.249.92.129 rate-limited-proxy-66-249-92-129.google.com US
66.249.92.15 rate-limited-proxy-66-249-92-15.google.com US
66.249.92.14 rate-limited-proxy-66-249-92-14.google.com US
66.249.89.188 rate-limited-proxy-66-249-89-188.google.com GB
66.249.92.13 rate-limited-proxy-66-249-92-13.google.com US
66.249.89.190 rate-limited-proxy-66-249-89-190.google.com GB
66.249.92.33 rate-limited-proxy-66-249-92-33.google.com US
66.249.92.35 rate-limited-proxy-66-249-92-35.google.com US
66.249.89.173 rate-limited-proxy-66-249-89-173.google.com GB
66.249.92.67 rate-limited-proxy-66-249-92-67.google.com US
66.249.89.174 rate-limited-proxy-66-249-89-174.google.com GB
66.249.91.178 rate-limited-proxy-66-249-91-178.google.com US
66.249.92.198 rate-limited-proxy-66-249-92-198.google.com US
74.125.151.173 rate-limited-proxy-74-125-151-173.google.com US
74.125.217.108 rate-limited-proxy-74-125-217-108.google.com US
66.249.92.68 rate-limited-proxy-66-249-92-68.google.com US
66.249.89.172 rate-limited-proxy-66-249-89-172.google.com GB
72.14.199.237 rate-limited-proxy-72-14-199-237.google.com US
66.249.91.161 rate-limited-proxy-66-249-91-161.google.com US
72.14.199.67 rate-limited-proxy-72-14-199-67.google.com US
74.125.216.141 rate-limited-proxy-74-125-216-141.google.com US
66.249.91.101 rate-limited-proxy-66-249-91-101.google.com US
72.14.199.238 rate-limited-proxy-72-14-199-238.google.com US
66.249.91.14 rate-limited-proxy-66-249-91-14.google.com US
66.249.91.162 rate-limited-proxy-66-249-91-162.google.com US
66.249.91.233 rate-limited-proxy-66-249-91-233.google.com ?
66.249.91.234 rate-limited-proxy-66-249-91-234.google.com US
72.14.199.73 rate-limited-proxy-72-14-199-73.google.com US
72.14.199.71 rate-limited-proxy-72-14-199-71.google.com US
74.125.216.99 rate-limited-proxy-74-125-216-99.google.com US
72.14.199.236 rate-limited-proxy-72-14-199-236.google.com US
72.14.199.72 rate-limited-proxy-72-14-199-72.google.com US
74.125.216.110 rate-limited-proxy-74-125-216-110.google.com US
74.125.216.108 rate-limited-proxy-74-125-216-108.google.com US
66.249.90.97 rate-limited-proxy-66-249-90-97.google.com US
66.249.89.237 rate-limited-proxy-66-249-89-237.google.com US
74.125.216.109 rate-limited-proxy-74-125-216-109.google.com US
74.125.217.41 rate-limited-proxy-74-125-217-41.google.com US
66.249.91.34 rate-limited-proxy-66-249-91-34.google.com US
66.249.91.33 rate-limited-proxy-66-249-91-33.google.com US
用户代理字符串
Mozilla/5.0 (compatible) Feedfetcher-Google; (+http://www.google.com/feedfetcher.html)
类型
信息流
首次出现
2016-01-17 05:14:26
最后出现
2022-02-22 08:03:24
遵循robots.txt
IP地址
183
来源
IP地址 服务器名称 所属国家
66.249.83.54 google-proxy-66-249-83-54.google.com US
66.249.84.238 google-proxy-66-249-84-238.google.com US
66.249.83.47 google-proxy-66-249-83-47.google.com US
66.249.83.49 google-proxy-66-249-83-49.google.com US
66.249.83.51 google-proxy-66-249-83-51.google.com US
66.249.83.41 google-proxy-66-249-83-41.google.com US
66.249.83.45 google-proxy-66-249-83-45.google.com US
66.102.9.136 google-proxy-66-102-9-136.google.com US
66.102.9.132 google-proxy-66-102-9-132.google.com US
66.102.9.134 google-proxy-66-102-9-134.google.com US

Google 使用 Feedfetcher 抓取 Google 播客、Google 新闻和 PubSubHubbub 的 RSS 或 Atom Feed。

Feedfetcher 会存储并定期刷新由应用或服务的用户请求的 Feed。只有播客 Feed 才会在 Google 搜索中编入索引;但是,如果 Feed 不符合 Atom 或 RSS 规范,仍可能被编入索引。对于这款由用户控制的 Feed 抓取工具的工作原理,下文列出了一些常见问题的解答。

当用户添加使用 Feedfetcher 数据的服务或应用时,Google 的 Feedfetcher 会尝试获取相应 Feed 的内容,以便将其显示出来。由于 Feedfetcher 请求来自真实用户的明确操作(而非来自自动抓取工具),因此 Feedfetcher 不会遵循 robots.txt 中的指令。

如果您的 Feed 是公开的,那么 Google 无法限制用户访问该 Feed。一种解决办法是,将网站配置为向用户代理 Feedfetcher-Google 发送 404、410 或其他错误状态消息。

如果您的 Feed 是由某个博客或网站托管服务提供商提供的,请直接与相应服务提供商联系,限制用户对您 Feed 的访问。

对于大多数网站,Feedfetcher 平均每小时最多检索一次 Feed。 某些经常更新的网站可能会更频繁地刷新。但请注意,由于网络延迟,Feedfetcher 在短时间内检索您 Feed 的频率可能略高。

Feedfetcher 会根据用户安装的服务或应用发出的请求检索 Feed。所以可能的情况是,用户请求的 Feed 网址不存在。

Feedfetcher 会根据用户安装的服务或应用发出的请求检索 Feed。所以可能的情况是,发出请求的用户知道您的“私密”服务器,或者错误地输入了您的“私密”服务器。

只有在用户已明确启动从 Feed 请求数据的服务或应用后,Feedfetcher 才会检索这些 Feed。Feedfetcher 会以真实用户(而不是漫游器)的身份运行,因此它会忽略 robots.txt 中的指令。由于 Feedfetcher 会充当多位用户的代理,因此它会代表通过应用或服务请求相应 Feed 的所有用户,仅针对这个共同的 Feed 提出 1 次请求,从而节省了带宽。常见的 Feed 包括 RSS 和 Atom

您可以将服务器配置为向用户代理 Feedfetcher-Google 发送 404、410 或其他错误状态消息,从而阻止 Feedfetcher 抓取您的网站。

Feedfetcher 分布在多台计算机上,以便提升性能,并随着网络规模的扩大而扩大其作用范围。为了减少带宽的使用量,所用的计算机通常位于它们正在网络中检索的网站附近。

Feedfetcher 使用的 IP 地址会随时发生变化。识别 Feedfetcher 请求的最佳方法是查找其用户代理 Feedfetcher-Google

一般来说,Feedfetcher 在指定的 Feed 检索期间只从您的网站下载各文件的一份副本。但在极少数情况下,计算机会关闭并重新启动,这可能会导致 Feedfetcher 再次检索最近访问过的网页。

与普通的网页抓取工具不同,Feedfetcher 并不会跟踪链接,它只会跟踪使用 Feedfetcher 的服务或应用的用户发来的请求。

常见问题

FAQs
查看更多 >