注册
繁體
> 工具>蜘蛛查询工具

Feedfetcher-Google

Feedfetcher-Google蜘蛛/爬虫属于信息流类型，由Google Inc.开发运行。您可以继续阅读下方信息，以深入了解Feedfetcher-Google基本信息，用户代理和访问控制等。

基本信息

Feedfetcher-Google的基本信息如下表。但部分不是很规范的蜘蛛和爬虫，可能存在信息不明的情况。
蜘蛛/爬虫名称
Feedfetcher-Google
类型
信息流
开发商
Google Inc.
当前状态
活动

用户代理

关于Feedfetcher-Google蜘蛛或者爬虫的用户代理字符串，IP地址和服务器，所在地等信息如下表格所示：
Feedfetcher-Google
  • Feedfetcher-Google
  • Feedfetcher-Google
用户代理字符串
Mozilla/5.0 (compatible) Feedfetcher-Google; (+http://www.google.com/feedfetcher.html)
首次出现
2016-01-17 05:14:26
最后出现
2022-02-22 08:03:24
遵循robots.txt
未知
来源
IP地址(103) 服务器名称 所属国家
66.249.88.3 google-proxy-66-249-88-3.google.com US
66.249.84.192 google-proxy-66-249-84-192.google.com US
66.249.88.27 google-proxy-66-249-88-27.google.com US
66.249.88.31 google-proxy-66-249-88-31.google.com US
66.249.89.221 rate-limited-proxy-66-249-89-221.google.com US
用户代理字符串
Mozilla/5.0 (compatible) Feedfetcher-Google; (+http://www.google.com/feedfetcher.html)
首次出现
2016-01-17 05:14:26
最后出现
2022-02-22 08:03:24
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
66.249.83.54 google-proxy-66-249-83-54.google.com US
66.249.84.238 google-proxy-66-249-84-238.google.com US
66.249.83.47 google-proxy-66-249-83-47.google.com US
66.249.83.49 google-proxy-66-249-83-49.google.com US
66.249.83.51 google-proxy-66-249-83-51.google.com US

访问控制

了解如何控制Feedfetcher-Google访问权限，避免Feedfetcher-Google抓取行为不当。

是否拦截Feedfetcher-Google？

通常不需要。除非您不希望信息流网站或者APP对您的网站内容进行抓取，网站也不提供Feed订阅服务，则可以考虑拦截此类型爬虫。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 Feedfetcher-Google 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。 

# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: Feedfetcher-Google
Disallow: /

您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

更多信息

Google 使用 Feedfetcher 抓取 Google 播客、Google 新闻和 PubSubHubbub 的 RSS 或 Atom Feed。

Feedfetcher 会存储并定期刷新由应用或服务的用户请求的 Feed。只有播客 Feed 才会在 Google 搜索中编入索引；但是，如果 Feed 不符合 Atom 或 RSS 规范，仍可能被编入索引。对于这款由用户控制的 Feed 抓取工具的工作原理，下文列出了一些常见问题的解答。

当用户添加使用 Feedfetcher 数据的服务或应用时，Google 的 Feedfetcher 会尝试获取相应 Feed 的内容，以便将其显示出来。由于 Feedfetcher 请求来自真实用户的明确操作（而非来自自动抓取工具），因此 Feedfetcher 不会遵循 robots.txt 中的指令。

如果您的 Feed 是公开的，那么 Google 无法限制用户访问该 Feed。一种解决办法是，将网站配置为向用户代理 Feedfetcher-Google 发送 404、410 或其他错误状态消息。

如果您的 Feed 是由某个博客或网站托管服务提供商提供的，请直接与相应服务提供商联系，限制用户对您 Feed 的访问。

对于大多数网站，Feedfetcher 平均每小时最多检索一次 Feed。 某些经常更新的网站可能会更频繁地刷新。但请注意，由于网络延迟，Feedfetcher 在短时间内检索您 Feed 的频率可能略高。

Feedfetcher 会根据用户安装的服务或应用发出的请求检索 Feed。所以可能的情况是，用户请求的 Feed 网址不存在。

Feedfetcher 会根据用户安装的服务或应用发出的请求检索 Feed。所以可能的情况是，发出请求的用户知道您的“私密”服务器，或者错误地输入了您的“私密”服务器。

只有在用户已明确启动从 Feed 请求数据的服务或应用后，Feedfetcher 才会检索这些 Feed。Feedfetcher 会以真实用户（而不是漫游器）的身份运行，因此它会忽略 robots.txt 中的指令。由于 Feedfetcher 会充当多位用户的代理，因此它会代表通过应用或服务请求相应 Feed 的所有用户，仅针对这个共同的 Feed 提出 1 次请求，从而节省了带宽。常见的 Feed 包括 RSS 和 Atom。

您可以将服务器配置为向用户代理 Feedfetcher-Google 发送 404、410 或其他错误状态消息，从而阻止 Feedfetcher 抓取您的网站。

Feedfetcher 分布在多台计算机上，以便提升性能，并随着网络规模的扩大而扩大其作用范围。为了减少带宽的使用量，所用的计算机通常位于它们正在网络中检索的网站附近。

Feedfetcher 使用的 IP 地址会随时发生变化。识别 Feedfetcher 请求的最佳方法是查找其用户代理 Feedfetcher-Google。

一般来说，Feedfetcher 在指定的 Feed 检索期间只从您的网站下载各文件的一份副本。但在极少数情况下，计算机会关闭并重新启动，这可能会导致 Feedfetcher 再次检索最近访问过的网页。

与普通的网页抓取工具不同，Feedfetcher 并不会跟踪链接，它只会跟踪使用 Feedfetcher 的服务或应用的用户发来的请求。

站长工具

我们为站长量身定做的高效工具集。
关键词查找工具
WP错误查找
robots.txt测试工具
SEO工具箱
WordPress主题检测器
SEO优化中心
WP开发宝典
蜘蛛查询工具
查看全部工具

常见蜘蛛/爬虫

Common Spiders
MarginaliaBot
PocketCasts
Scour bot
Mobian bot
Mobian bot蜘蛛/爬虫属于信息流类型，由Mobian LLC开发运行。您可以继续阅读下方信息，以深入了解Mobian bot基本信息，用户代理和访问控制等。
VeryHip Bot
VeryHip Bot蜘蛛/爬虫属于信息流类型，由VeryHip开发运行。您可以继续阅读下方信息，以深入了解VeryHip Bot基本信息，用户代理和访问控制等。
Lenns.io
Lenns.io蜘蛛/爬虫属于信息流类型，由Stanislav Bozhkov开发运行。您可以继续阅读下方信息，以深入了解Lenns.io基本信息，用户代理和访问控制等。
Twitterbot
Twitterbot蜘蛛/爬虫属于信息流类型，由X Corp.开发运行。您可以继续阅读下方信息，以深入了解Twitterbot基本信息，用户代理和访问控制等。
SeznamBot
SeznamBot蜘蛛/爬虫属于搜索引擎类型，由Seznam.cz, a.s.开发运行。您可以继续阅读下方信息，以深入了解SeznamBot基本信息，用户代理和访问控制等。

相关文章

Related Articles