SnapBot

SnapBot蜘蛛/爬虫属于快照类型,由Snap Inc.开发运行。您可以继续阅读下方信息,以深入了解SnapBot基本信息,用户代理和访问控制等。

基本信息

SnapBot的基本信息如下表。但部分不是很规范的蜘蛛和爬虫,可能存在信息不明的情况。
蜘蛛/爬虫名称
SnapBot
类型
快照
开发商
Snap Inc.
当前状态
活动

用户代理

关于SnapBot蜘蛛或者爬虫的用户代理字符串,IP地址和服务器,所在地等信息如下表格所示:
Snap-URL-Preview
用户代理字符串
Snap-URL-Preview (bot; snapchat; +https://developers.snap.com/robots)
首次出现
2023-05-05 10:46:22
最后出现
2024-07-16 04:37:52
遵循robots.txt
未知
来源
IP地址(12) 服务器名称 所属国家
34.203.239.213 ec2-34-203-239-213.compute-1.amazonaws.com US
54.196.247.103 ec2-54-196-247-103.compute-1.amazonaws.com US
44.204.29.242 ec2-44-204-29-242.compute-1.amazonaws.com US
54.81.136.113 ec2-54-81-136-113.compute-1.amazonaws.com US
18.208.137.30 ec2-18-208-137-30.compute-1.amazonaws.com US
用户代理字符串
Mozilla/5.0 (compatible; SnapPreviewBot; en-US; rv:1.8.0.9) Gecko/20061206 Firefox/1.5.0.9
首次出现
2009-05-11 05:50:00
最后出现
2023-06-09 04:56:12
遵循robots.txt
未知
来源
IP地址(6) 服务器名称 所属国家
185.222.58.109 hosted-by.rootlayer.net NL
35.226.151.117 117.151.226.35.bc.googleusercontent.com US
20.124.28.120 20.124.28.120 US
2607:ff28:b012::91b8 2607:ff28:b012::91b8 US
185.29.10.118 185.29.10.118 SE
用户代理字符串
Snap URL Preview Service; bot; https://developer.snapchat.com/robots
首次出现
2021-06-03 05:19:12
最后出现
2022-05-28 19:54:21
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
54.91.57.211 ec2-54-91-57-211.compute-1.amazonaws.com US
35.175.235.123 ec2-35-175-235-123.compute-1.amazonaws.com US
54.224.65.188 ec2-54-224-65-188.compute-1.amazonaws.com US
54.198.34.58 ec2-54-198-34-58.compute-1.amazonaws.com US
54.164.129.53 ec2-54-164-129-53.compute-1.amazonaws.com US
用户代理字符串
Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.7) Gecko/20060909 Firefox/1.5.0.7 SnapPreviewBot
首次出现
2021-11-09 14:14:43
最后出现
2021-12-22 20:54:53
遵循robots.txt
未知
来源
IP地址(2) 服务器名称 所属国家
20.124.28.120 20.124.28.120 US
2607:ff28:b012::91b8 2607:ff28:b012::91b8 US
用户代理字符串
Snap URL Preview Service; bot; https://developers.snap.com/robots
首次出现
2021-07-07 05:41:32
最后出现
2021-10-14 06:49:55
遵循robots.txt
未知
来源
IP地址(72) 服务器名称 所属国家
54.82.59.229 ec2-54-82-59-229.compute-1.amazonaws.com US
18.208.251.130 ec2-18-208-251-130.compute-1.amazonaws.com US
54.227.95.100 ec2-54-227-95-100.compute-1.amazonaws.com US
34.207.81.132 ec2-34-207-81-132.compute-1.amazonaws.com US
3.89.217.40 ec2-3-89-217-40.compute-1.amazonaws.com US
用户代理字符串
Snap URL Preview Service; bot; https://developers.snap.com/robots
首次出现
2021-07-07 05:41:32
最后出现
2021-10-14 06:49:55
遵循robots.txt
未知
来源
IP地址(2) 服务器名称 所属国家
54.196.178.24 ec2-54-196-178-24.compute-1.amazonaws.com US
54.167.42.113 ec2-54-167-42-113.compute-1.amazonaws.com US
用户代理字符串
Snapbot/1.0 (Snap Shots, +http://www.snap.com)
首次出现
2009-05-11 05:50:00
最后出现
2011-03-27 17:26:58
遵循robots.txt
未知
来源
IP地址(4) 服务器名称 所属国家
38.98.19.111 38.98.19.111 US
38.98.19.66 38.98.19.66 US
38.98.19.67 38.98.19.67 US
38.98.19.68 38.98.19.68 US

访问控制

了解如何控制SnapBot访问权限,避免SnapBot抓取行为不当。

是否拦截SnapBot?

这取决于你。数字存档通常是为了保存历史记录。如果你出于某种原因不想成为历史记录的一部分,你可以拦截这类型的蜘蛛爬虫。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 SnapBot 或限制其访问权限。我们建议安装 Spider Analyser 插件,以检查它是否真正遵循这些规则。

# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: SnapBot
Disallow: /

您无需手动执行此操作,可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

更多信息

Snapbot,用于URL预览服务扫描网站的HTML,为Snapchatters提供其朋友在聊天中分享的网站的预览。预览是一张带有标题、副标题和缩略图的卡片,链接到该网站。例如:

careers.snap.com URL预览卡

URL预览服务优先考虑Open Graph标签(og:title和og:image),但会使用Twitter Card标签(twitter:title和twitter:img:src)来收集预览的信息。URL预览服务以用户代理 “Snap URL Preview Service; bot; https://developer.snapchat.com/robots “进行HTTP请求,它将对URL的响应进行30分钟的缓存,以避免单一URL的过多流量。如果你的链接在Snapchat中的显示方式有问题。

  • 尝试将我们的用户代理添加到您网站的允许列表中
  • 确保您的网站在HTML标题中使用适当的元数据标签进行响应

常见蜘蛛/爬虫

Common Spiders

相关文章

Related Articles