deepcrawl
deepcrawl蜘蛛/爬虫属于营销类型，由Written Byte Ltd开发运行。您可以继续阅读下方信息，以深入了解deepcrawl基本信息，用户代理和访问控制等。
基本信息
deepcrawl的基本信息如下表。但部分不是很规范的蜘蛛和爬虫，可能存在信息不明的情况。
- 蜘蛛/爬虫名称
- deepcrawl
- 类型
- 营销
- 开发商
-
Written Byte Ltd
- 当前状态
-
活动
用户代理
关于deepcrawl蜘蛛或者爬虫的用户代理字符串，IP地址和服务器，所在地等信息如下表格所示：
deepcrawl
-
deepcrawl
-
deepcrawl
-
deepcrawl
-
deepcrawl
-
deepcrawl
-
deepcrawl
-
deepcrawl
-
deepcrawl
-
deepcrawl
-
deepcrawl
- 用户代理字符串
- Mozilla/5.0 (compatible; Googlebot/2.1; https://deepcrawl.com/bot)
- 首次出现
- 2017-01-17 15:05:59
- 最后出现
- 2020-04-13 07:08:54
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(10) |
服务器名称 |
所属国家 |
| 52.90.120.170 |
ec2-52-90-120-170.compute-1.amazonaws.com |
US |
| 54.211.202.136 |
ec2-54-211-202-136.compute-1.amazonaws.com |
US |
| 54.211.203.64 |
ec2-54-211-203-64.compute-1.amazonaws.com |
US |
| 52.206.110.111 |
ec2-52-206-110-111.compute-1.amazonaws.com |
US |
| 54.82.148.241 |
ec2-54-82-148-241.compute-1.amazonaws.com |
US |
- 用户代理字符串
- Mozilla/5.0 (Windows; U; Windows NT 6.1; en-GB; rv:1.9.1.7) Gecko/20091221 Firefox/3.5.7 https://deepcrawl.com/bot
- 首次出现
- 2020-02-01 23:56:23
- 最后出现
- 2020-02-01 23:56:23
- 遵循robots.txt
- 未知
- 用户代理字符串
- deepcrawl wp 1337 https://deepcrawl.com/bot
- 首次出现
- 2020-01-29 08:18:23
- 最后出现
- 2020-01-29 08:18:23
- 遵循robots.txt
- 未知
- 用户代理字符串
- Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) https://deepcrawl.com/bot
- 首次出现
- 2018-05-30 18:57:39
- 最后出现
- 2020-01-24 14:23:52
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(1) |
服务器名称 |
所属国家 |
| 54.91.128.152 |
ec2-54-91-128-152.compute-1.amazonaws.com |
US |
- 用户代理字符串
- Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/deepcrawl-dfh-bot.html) https://deepcrawl.com/bot
- 首次出现
- 2020-01-21 14:52:35
- 最后出现
- 2020-01-21 14:52:35
- 遵循robots.txt
- 未知
- 用户代理字符串
- optimized https://deepcrawl.com/bot
- 首次出现
- 2020-01-18 02:35:41
- 最后出现
- 2020-01-18 02:35:41
- 遵循robots.txt
- 未知
- 用户代理字符串
- Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) https://deepcrawl.com/bot
- 首次出现
- 2018-05-22 20:21:54
- 最后出现
- 2019-07-04 13:58:29
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(4) |
服务器名称 |
所属国家 |
| 18.207.176.114 |
ec2-18-207-176-114.compute-1.amazonaws.com |
US |
| 54.227.40.88 |
ec2-54-227-40-88.compute-1.amazonaws.com |
US |
| 35.171.85.48 |
ec2-35-171-85-48.compute-1.amazonaws.com |
US |
| 54.175.161.62 |
ec2-54-175-161-62.compute-1.amazonaws.com |
US |
- 用户代理字符串
- Googlebot deepcrawl
- 首次出现
- 2016-01-17 15:54:04
- 最后出现
- 2018-10-04 08:07:12
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(5) |
服务器名称 |
所属国家 |
| 35.153.210.124 |
ec2-35-153-210-124.compute-1.amazonaws.com |
US |
| 204.236.207.68 |
ec2-204-236-207-68.compute-1.amazonaws.com |
US |
| 54.211.200.160 |
ec2-54-211-200-160.compute-1.amazonaws.com |
US |
| 54.211.201.121 |
ec2-54-211-201-121.compute-1.amazonaws.com |
US |
| 54.165.19.169 |
ec2-54-165-19-169.compute-1.amazonaws.com |
US |
- 用户代理字符串
- Mozilla/5.0 (compatible; Googlebot/2.1; https://www.deepcrawl.com/bot)
- 首次出现
- 2015-10-20 14:30:00
- 最后出现
- 2016-01-26 02:40:34
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(48) |
服务器名称 |
所属国家 |
| 54.211.202.136 |
ec2-54-211-202-136.compute-1.amazonaws.com |
US |
| 52.90.120.170 |
ec2-52-90-120-170.compute-1.amazonaws.com |
US |
| 54.211.203.64 |
ec2-54-211-203-64.compute-1.amazonaws.com |
US |
| 52.206.110.111 |
ec2-52-206-110-111.compute-1.amazonaws.com |
US |
| 54.209.202.135 |
ec2-54-209-202-135.compute-1.amazonaws.com |
US |
- 用户代理字符串
- Mozilla/5.0 (compatible; Googlebot/2.1; https://www.deepcrawl.com/bot)
- 首次出现
- 2015-10-20 14:30:00
- 最后出现
- 2016-01-26 02:40:34
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(4) |
服务器名称 |
所属国家 |
| 95.154.229.204 |
hosted-by.securefastserver.com |
GB |
| 54.74.131.65 |
ec2-54-74-131-65.eu-west-1.compute.amazonaws.com |
IE |
| 54.78.131.124 |
ec2-54-78-131-124.eu-west-1.compute.amazonaws.com |
IE |
| 78.157.207.29 |
hosted-by.securefastserver.com |
GB |
访问控制
了解如何控制deepcrawl访问权限，避免deepcrawl抓取行为不当。
是否拦截deepcrawl？
一般不需要拦截，尤其是如果你自己也受益于搜索引擎优化服务。不过，如果你担心服务器资源占用等问题，且您都不使用这些工具，当然也可以选择拦截它们。
通过Robots.txt拦截
您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 deepcrawl 或限制其访问权限。我们建议安装 Spider Analyser
插件，以检查它是否真正遵循这些规则。
# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: deepcrawl
Disallow: /
您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。
