Opengraph.io bot

Opengraph.io bot蜘蛛/爬虫属于工具类型,由AppMagma开发运行。您可以继续阅读下方信息,以深入了解Opengraph.io bot基本信息,用户代理和访问控制等。

基本信息

Opengraph.io bot的基本信息如下表。但部分不是很规范的蜘蛛和爬虫,可能存在信息不明的情况。
蜘蛛/爬虫名称
Opengraph.io bot
类型
工具
开发商
AppMagma
当前状态
活动

用户代理

关于Opengraph.io bot蜘蛛或者爬虫的用户代理字符串,IP地址和服务器,所在地等信息如下表格所示:
Opengraph.io/1.1
用户代理字符串
Opengraph.io/1.1
首次出现
2020-03-15 09:46:58
最后出现
2021-03-03 09:41:39
遵循robots.txt
来源
IP地址(2) 服务器名称 所属国家
18.215.127.81 egress.opengraph.io US
34.204.43.97 ec2-34-204-43-97.compute-1.amazonaws.com US
54.147.121.249 ec2-54-147-121-249.compute-1.amazonaws.com US
54.86.98.78 egress.opengraph.io US
用户代理字符串
Opengraph.io/1.1
首次出现
2020-03-15 09:46:58
最后出现
2021-03-03 09:41:39
遵循robots.txt
来源
IP地址(2) 服务器名称 所属国家
54.147.121.249 ec2-54-147-121-249.compute-1.amazonaws.com US
34.204.43.97 ec2-34-204-43-97.compute-1.amazonaws.com US

访问控制

了解如何控制Opengraph.io bot访问权限,避免Opengraph.io bot抓取行为不当。

是否拦截Opengraph.io bot?

可能不需要。工具类型爬虫通常为网站所有者使用此类工具对网站进行相关服务请求才会出现。当然,实际情况需站长判断后再作决定。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 Opengraph.io bot 或限制其访问权限。我们建议安装 Spider Analyser 插件,以检查它是否真正遵循这些规则。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: Opengraph.io bot
Disallow: /
# robots.txt # 下列代码一般情况可以拦截该代理 User-agent: Opengraph.io bot Disallow: /
# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: Opengraph.io bot
Disallow: /

您无需手动执行此操作,可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

常见蜘蛛/爬虫

Common Spiders

相关文章

Related Articles