注册
> 工具>蜘蛛查询工具

deepcrawl

deepcrawl蜘蛛/爬虫属于营销类型，由Written Byte Ltd开发运行。您可以继续阅读下方信息，以深入了解deepcrawl基本信息，用户代理和访问控制等。

基本信息

deepcrawl的基本信息如下表。但部分不是很规范的蜘蛛和爬虫，可能存在信息不明的情况。
蜘蛛/爬虫名称
deepcrawl
类型
营销
开发商
Written Byte Ltd
当前状态
活动

用户代理

关于deepcrawl蜘蛛或者爬虫的用户代理字符串，IP地址和服务器，所在地等信息如下表格所示：
deepcrawl
  • deepcrawl
  • deepcrawl
  • deepcrawl
  • deepcrawl
  • deepcrawl
  • deepcrawl
  • deepcrawl
  • deepcrawl
  • deepcrawl
  • deepcrawl
用户代理字符串
Mozilla/5.0 (compatible; Googlebot/2.1; https://deepcrawl.com/bot)
首次出现
2017-01-17 15:05:59
最后出现
2020-04-13 07:08:54
遵循robots.txt
未知
来源
IP地址(42) 服务器名称 所属国家
52.90.120.170 ec2-52-90-120-170.compute-1.amazonaws.com US
54.211.202.136 ec2-54-211-202-136.compute-1.amazonaws.com US
54.211.203.64 ec2-54-211-203-64.compute-1.amazonaws.com US
52.206.110.111 ec2-52-206-110-111.compute-1.amazonaws.com US
54.82.148.241 ec2-54-82-148-241.compute-1.amazonaws.com US
54.210.187.150 ec2-54-210-187-150.compute-1.amazonaws.com US
54.211.202.10 ec2-54-211-202-10.compute-1.amazonaws.com US
54.84.79.209 ec2-54-84-79-209.compute-1.amazonaws.com US
52.90.207.245 ec2-52-90-207-245.compute-1.amazonaws.com US
54.210.188.139 ec2-54-210-188-139.compute-1.amazonaws.com US
用户代理字符串
Mozilla/5.0 (Windows; U; Windows NT 6.1; en-GB; rv:1.9.1.7) Gecko/20091221 Firefox/3.5.7 https://deepcrawl.com/bot
首次出现
2020-02-01 23:56:23
最后出现
2020-02-01 23:56:23
遵循robots.txt
未知
用户代理字符串
deepcrawl wp 1337 https://deepcrawl.com/bot
首次出现
2020-01-29 08:18:23
最后出现
2020-01-29 08:18:23
遵循robots.txt
未知
用户代理字符串
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) https://deepcrawl.com/bot
首次出现
2018-05-30 18:57:39
最后出现
2020-01-24 14:23:52
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
54.91.128.152 ec2-54-91-128-152.compute-1.amazonaws.com US
用户代理字符串
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/deepcrawl-dfh-bot.html) https://deepcrawl.com/bot
首次出现
2020-01-21 14:52:35
最后出现
2020-01-21 14:52:35
遵循robots.txt
未知
用户代理字符串
optimized https://deepcrawl.com/bot
首次出现
2020-01-18 02:35:41
最后出现
2020-01-18 02:35:41
遵循robots.txt
未知
用户代理字符串
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) https://deepcrawl.com/bot
首次出现
2018-05-22 20:21:54
最后出现
2019-07-04 13:58:29
遵循robots.txt
未知
来源
IP地址(4) 服务器名称 所属国家
18.207.176.114 ec2-18-207-176-114.compute-1.amazonaws.com US
54.227.40.88 ec2-54-227-40-88.compute-1.amazonaws.com US
35.171.85.48 ec2-35-171-85-48.compute-1.amazonaws.com US
54.175.161.62 ec2-54-175-161-62.compute-1.amazonaws.com US
用户代理字符串
Googlebot deepcrawl
首次出现
2016-01-17 15:54:04
最后出现
2018-10-04 08:07:12
遵循robots.txt
未知
来源
IP地址(5) 服务器名称 所属国家
35.153.210.124 ec2-35-153-210-124.compute-1.amazonaws.com US
204.236.207.68 ec2-204-236-207-68.compute-1.amazonaws.com US
54.211.200.160 ec2-54-211-200-160.compute-1.amazonaws.com US
54.211.201.121 ec2-54-211-201-121.compute-1.amazonaws.com US
54.165.19.169 ec2-54-165-19-169.compute-1.amazonaws.com US
用户代理字符串
Mozilla/5.0 (compatible; Googlebot/2.1; https://www.deepcrawl.com/bot)
首次出现
2015-10-20 14:30:00
最后出现
2016-01-26 02:40:34
遵循robots.txt
未知
来源
IP地址(4) 服务器名称 所属国家
54.211.202.136 ec2-54-211-202-136.compute-1.amazonaws.com US
52.90.120.170 ec2-52-90-120-170.compute-1.amazonaws.com US
54.211.203.64 ec2-54-211-203-64.compute-1.amazonaws.com US
52.206.110.111 ec2-52-206-110-111.compute-1.amazonaws.com US
54.209.202.135 ec2-54-209-202-135.compute-1.amazonaws.com US
54.197.6.93 ec2-54-197-6-93.compute-1.amazonaws.com US
54.211.202.10 ec2-54-211-202-10.compute-1.amazonaws.com US
54.91.146.57 ec2-54-91-146-57.compute-1.amazonaws.com US
54.226.240.65 ec2-54-226-240-65.compute-1.amazonaws.com US
54.210.186.16 ec2-54-210-186-16.compute-1.amazonaws.com US
54.91.128.152 ec2-54-91-128-152.compute-1.amazonaws.com US
18.207.176.114 ec2-18-207-176-114.compute-1.amazonaws.com US
54.227.40.88 ec2-54-227-40-88.compute-1.amazonaws.com US
35.171.85.48 ec2-35-171-85-48.compute-1.amazonaws.com US
54.175.161.62 ec2-54-175-161-62.compute-1.amazonaws.com US
35.153.210.124 ec2-35-153-210-124.compute-1.amazonaws.com US
204.236.207.68 ec2-204-236-207-68.compute-1.amazonaws.com US
54.211.200.160 ec2-54-211-200-160.compute-1.amazonaws.com US
54.211.201.121 ec2-54-211-201-121.compute-1.amazonaws.com US
54.165.19.169 ec2-54-165-19-169.compute-1.amazonaws.com US
95.154.229.204 hosted-by.securefastserver.com GB
54.74.131.65 ec2-54-74-131-65.eu-west-1.compute.amazonaws.com IE
54.78.131.124 ec2-54-78-131-124.eu-west-1.compute.amazonaws.com IE
78.157.207.29 hosted-by.securefastserver.com GB
54.210.200.52 ec2-54-210-200-52.compute-1.amazonaws.com US
54.90.171.129 ec2-54-90-171-129.compute-1.amazonaws.com US
54.210.203.244 ec2-54-210-203-244.compute-1.amazonaws.com US
54.211.204.143 ec2-54-211-204-143.compute-1.amazonaws.com US
52.87.170.49 ec2-52-87-170-49.compute-1.amazonaws.com US
54.81.8.59 ec2-54-81-8-59.compute-1.amazonaws.com US
52.87.208.114 ec2-52-87-208-114.compute-1.amazonaws.com US
54.165.85.174 ec2-54-165-85-174.compute-1.amazonaws.com US
54.210.76.166 ec2-54-210-76-166.compute-1.amazonaws.com US
54.227.95.104 ec2-54-227-95-104.compute-1.amazonaws.com US
54.175.73.19 ec2-54-175-73-19.compute-1.amazonaws.com US
54.211.192.22 ec2-54-211-192-22.compute-1.amazonaws.com US
54.237.205.84 ec2-54-237-205-84.compute-1.amazonaws.com US
54.84.79.209 ec2-54-84-79-209.compute-1.amazonaws.com US
52.90.207.245 ec2-52-90-207-245.compute-1.amazonaws.com US
54.210.188.139 ec2-54-210-188-139.compute-1.amazonaws.com US
54.88.157.2 ec2-54-88-157-2.compute-1.amazonaws.com US
52.91.105.66 ec2-52-91-105-66.compute-1.amazonaws.com US
54.82.148.241 ec2-54-82-148-241.compute-1.amazonaws.com US
54.210.187.150 ec2-54-210-187-150.compute-1.amazonaws.com US
54.211.203.154 ec2-54-211-203-154.compute-1.amazonaws.com US
54.157.208.245 ec2-54-157-208-245.compute-1.amazonaws.com US
54.89.4.175 ec2-54-89-4-175.compute-1.amazonaws.com US
54.210.238.1 ec2-54-210-238-1.compute-1.amazonaws.com US
用户代理字符串
Mozilla/5.0 (compatible; Googlebot/2.1; https://www.deepcrawl.com/bot)
首次出现
2015-10-20 14:30:00
最后出现
2016-01-26 02:40:34
遵循robots.txt
未知
来源
IP地址(4) 服务器名称 所属国家
95.154.229.204 hosted-by.securefastserver.com GB
54.74.131.65 ec2-54-74-131-65.eu-west-1.compute.amazonaws.com IE
54.78.131.124 ec2-54-78-131-124.eu-west-1.compute.amazonaws.com IE
78.157.207.29 hosted-by.securefastserver.com GB

访问控制

了解如何控制deepcrawl访问权限，避免deepcrawl抓取行为不当。

是否拦截deepcrawl？

一般不需要拦截，尤其是如果你自己也受益于搜索引擎优化服务。不过，如果你担心服务器资源占用等问题，且您都不使用这些工具，当然也可以选择拦截它们。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 deepcrawl 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。 

	# robots.txt
	# 下列代码一般情况可以拦截该代理
	
	User-agent: deepcrawl
	Disallow: /

您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

站长工具

我们为站长量身定做的高效工具集。
关键词查找工具
WP错误查找
robots.txt测试工具
SEO工具箱
WordPress主题检测器
SEO优化中心
WP开发宝典
蜘蛛查询工具
查看全部工具

常见蜘蛛/爬虫

Common Spiders
Matchory Bot
Matchory Bot蜘蛛/爬虫属于营销类型，由Matchory GmbH开发运行。您可以继续阅读下方信息，以深入了解Matchory Bot基本信息，用户代理和访问控制等。
Googlebot
GoogleBot蜘蛛/爬虫属于搜索引擎类型，由Google Inc.开发运行。您可以继续阅读下方信息，以深入了解GoogleBot基本信息，用户代理和访问控制等。
Online Domain Tools
Online Domain Tools蜘蛛/爬虫属于监控类型，由AITIS s.r.o.开发运行。您可以继续阅读下方信息，以深入了解Online Domain Tools基本信息，用户代理和访问控制等。
AhrefsBot
AhrefsBot蜘蛛/爬虫属于营销类型，由Ahrefs Pte Ltd开发运行。您可以继续阅读下方信息，以深入了解AhrefsBot基本信息，用户代理和访问控制等。
SEMrushBot
SEMrushBot蜘蛛/爬虫属于营销类型，由Semrush Inc开发运行。您可以继续阅读下方信息，以深入了解SEMrushBot基本信息，用户代理和访问控制等。
DotBot
DotBot蜘蛛/爬虫属于营销类型，由SEOmoz, Inc.开发运行。您可以继续阅读下方信息，以深入了解DotBot基本信息，用户代理和访问控制等。
SentiBot
SentiBot蜘蛛/爬虫属于营销类型，由SentiOne开发运行。您可以继续阅读下方信息，以深入了解SentiBot基本信息，用户代理和访问控制等。
Awario crawler
Awario crawler蜘蛛/爬虫属于营销类型，由Link-Assistant.Com开发运行。您可以继续阅读下方信息，以深入了解Awario crawler基本信息，用户代理和访问控制等。

相关文章

Related Articles
利用OpenAI Agent SDK防护机制确保教育支持系统的完整性特色图
利用OpenAI Agent SDK防护机制确保教育支持系统的完整性
随着 OpenAI Agent SDK 的发布，开发人员现在拥有了构建智能系统的强大工具。其中最重要的一项功能是 Guardrails（防护机制），它可以过滤不需要的请求，帮助维护系统的完整性。这一功能在教育环境中尤为重要，因为在教育环境中，区分真正的学习支持和试图绕过学术道德的行为可能具有挑战性。 在本文中，我将展示一个在教育支持助理中使用 Guardrails 的实用而有影响力的案例。通过利用 Guardrails，我成功地阻止了不恰当的作业辅导请求，同时确保了真正的概念学习问题得到有效处理。 学习目标 了解 Guardrails 通过过滤不适当的请求来维护人工智能完整性的作用。 探索在教…