deepcrawl

基本信息

deepcrawl的基本信息如下表。但部分不是很规范的蜘蛛和爬虫，可能存在信息不明的情况。

蜘蛛/爬虫名称: deepcrawl

类型: 营销

开发商: Written Byte Ltd

当前状态: 活动

用户代理

关于deepcrawl蜘蛛或者爬虫的用户代理字符串，IP地址和服务器，所在地等信息如下表格所示：

用户代理字符串: Mozilla/5.0 (compatible; Googlebot/2.1; https://deepcrawl.com/bot)

首次出现: 2017-01-17 15:05:59

最后出现: 2020-04-13 07:08:54

遵循robots.txt: 未知

来源

IP地址(42)	服务器名称	所属国家
52.90.120.170	ec2-52-90-120-170.compute-1.amazonaws.com	US
54.211.202.136	ec2-54-211-202-136.compute-1.amazonaws.com	US
54.211.203.64	ec2-54-211-203-64.compute-1.amazonaws.com	US
52.206.110.111	ec2-52-206-110-111.compute-1.amazonaws.com	US
54.82.148.241	ec2-54-82-148-241.compute-1.amazonaws.com	US
54.210.187.150	ec2-54-210-187-150.compute-1.amazonaws.com	US
54.211.202.10	ec2-54-211-202-10.compute-1.amazonaws.com	US
54.84.79.209	ec2-54-84-79-209.compute-1.amazonaws.com	US
52.90.207.245	ec2-52-90-207-245.compute-1.amazonaws.com	US
54.210.188.139	ec2-54-210-188-139.compute-1.amazonaws.com	US

用户代理字符串: Mozilla/5.0 (Windows; U; Windows NT 6.1; en-GB; rv:1.9.1.7) Gecko/20091221 Firefox/3.5.7 https://deepcrawl.com/bot

首次出现: 2020-02-01 23:56:23

最后出现: 2020-02-01 23:56:23

遵循robots.txt: 未知

用户代理字符串: deepcrawl wp 1337 https://deepcrawl.com/bot

首次出现: 2020-01-29 08:18:23

最后出现: 2020-01-29 08:18:23

遵循robots.txt: 未知

用户代理字符串: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) https://deepcrawl.com/bot

首次出现: 2018-05-30 18:57:39

最后出现: 2020-01-24 14:23:52

遵循robots.txt: 未知

来源

IP地址(1)	服务器名称	所属国家
54.91.128.152	ec2-54-91-128-152.compute-1.amazonaws.com	US

用户代理字符串: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/deepcrawl-dfh-bot.html) https://deepcrawl.com/bot

首次出现: 2020-01-21 14:52:35

最后出现: 2020-01-21 14:52:35

遵循robots.txt: 未知

用户代理字符串: optimized https://deepcrawl.com/bot

首次出现: 2020-01-18 02:35:41

最后出现: 2020-01-18 02:35:41

遵循robots.txt: 未知

用户代理字符串: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) https://deepcrawl.com/bot

首次出现: 2018-05-22 20:21:54

最后出现: 2019-07-04 13:58:29

遵循robots.txt: 未知

来源

IP地址(4)	服务器名称	所属国家
18.207.176.114	ec2-18-207-176-114.compute-1.amazonaws.com	US
54.227.40.88	ec2-54-227-40-88.compute-1.amazonaws.com	US
35.171.85.48	ec2-35-171-85-48.compute-1.amazonaws.com	US
54.175.161.62	ec2-54-175-161-62.compute-1.amazonaws.com	US

用户代理字符串: Googlebot deepcrawl

首次出现: 2016-01-17 15:54:04

最后出现: 2018-10-04 08:07:12

遵循robots.txt: 未知

来源

IP地址(5)	服务器名称	所属国家
35.153.210.124	ec2-35-153-210-124.compute-1.amazonaws.com	US
204.236.207.68	ec2-204-236-207-68.compute-1.amazonaws.com	US
54.211.200.160	ec2-54-211-200-160.compute-1.amazonaws.com	US
54.211.201.121	ec2-54-211-201-121.compute-1.amazonaws.com	US
54.165.19.169	ec2-54-165-19-169.compute-1.amazonaws.com	US

用户代理字符串: Mozilla/5.0 (compatible; Googlebot/2.1; https://www.deepcrawl.com/bot)

首次出现: 2015-10-20 14:30:00

最后出现: 2016-01-26 02:40:34

遵循robots.txt: 未知

来源

IP地址(4)	服务器名称	所属国家
54.211.202.136	ec2-54-211-202-136.compute-1.amazonaws.com	US
52.90.120.170	ec2-52-90-120-170.compute-1.amazonaws.com	US
54.211.203.64	ec2-54-211-203-64.compute-1.amazonaws.com	US
52.206.110.111	ec2-52-206-110-111.compute-1.amazonaws.com	US
54.209.202.135	ec2-54-209-202-135.compute-1.amazonaws.com	US
54.197.6.93	ec2-54-197-6-93.compute-1.amazonaws.com	US
54.211.202.10	ec2-54-211-202-10.compute-1.amazonaws.com	US
54.91.146.57	ec2-54-91-146-57.compute-1.amazonaws.com	US
54.226.240.65	ec2-54-226-240-65.compute-1.amazonaws.com	US
54.210.186.16	ec2-54-210-186-16.compute-1.amazonaws.com	US
54.91.128.152	ec2-54-91-128-152.compute-1.amazonaws.com	US
18.207.176.114	ec2-18-207-176-114.compute-1.amazonaws.com	US
54.227.40.88	ec2-54-227-40-88.compute-1.amazonaws.com	US
35.171.85.48	ec2-35-171-85-48.compute-1.amazonaws.com	US
54.175.161.62	ec2-54-175-161-62.compute-1.amazonaws.com	US
35.153.210.124	ec2-35-153-210-124.compute-1.amazonaws.com	US
204.236.207.68	ec2-204-236-207-68.compute-1.amazonaws.com	US
54.211.200.160	ec2-54-211-200-160.compute-1.amazonaws.com	US
54.211.201.121	ec2-54-211-201-121.compute-1.amazonaws.com	US
54.165.19.169	ec2-54-165-19-169.compute-1.amazonaws.com	US
95.154.229.204	hosted-by.securefastserver.com	GB
54.74.131.65	ec2-54-74-131-65.eu-west-1.compute.amazonaws.com	IE
54.78.131.124	ec2-54-78-131-124.eu-west-1.compute.amazonaws.com	IE
78.157.207.29	hosted-by.securefastserver.com	GB
54.210.200.52	ec2-54-210-200-52.compute-1.amazonaws.com	US
54.90.171.129	ec2-54-90-171-129.compute-1.amazonaws.com	US
54.210.203.244	ec2-54-210-203-244.compute-1.amazonaws.com	US
54.211.204.143	ec2-54-211-204-143.compute-1.amazonaws.com	US
52.87.170.49	ec2-52-87-170-49.compute-1.amazonaws.com	US
54.81.8.59	ec2-54-81-8-59.compute-1.amazonaws.com	US
52.87.208.114	ec2-52-87-208-114.compute-1.amazonaws.com	US
54.165.85.174	ec2-54-165-85-174.compute-1.amazonaws.com	US
54.210.76.166	ec2-54-210-76-166.compute-1.amazonaws.com	US
54.227.95.104	ec2-54-227-95-104.compute-1.amazonaws.com	US
54.175.73.19	ec2-54-175-73-19.compute-1.amazonaws.com	US
54.211.192.22	ec2-54-211-192-22.compute-1.amazonaws.com	US
54.237.205.84	ec2-54-237-205-84.compute-1.amazonaws.com	US
54.84.79.209	ec2-54-84-79-209.compute-1.amazonaws.com	US
52.90.207.245	ec2-52-90-207-245.compute-1.amazonaws.com	US
54.210.188.139	ec2-54-210-188-139.compute-1.amazonaws.com	US
54.88.157.2	ec2-54-88-157-2.compute-1.amazonaws.com	US
52.91.105.66	ec2-52-91-105-66.compute-1.amazonaws.com	US
54.82.148.241	ec2-54-82-148-241.compute-1.amazonaws.com	US
54.210.187.150	ec2-54-210-187-150.compute-1.amazonaws.com	US
54.211.203.154	ec2-54-211-203-154.compute-1.amazonaws.com	US
54.157.208.245	ec2-54-157-208-245.compute-1.amazonaws.com	US
54.89.4.175	ec2-54-89-4-175.compute-1.amazonaws.com	US
54.210.238.1	ec2-54-210-238-1.compute-1.amazonaws.com	US

用户代理字符串: Mozilla/5.0 (compatible; Googlebot/2.1; https://www.deepcrawl.com/bot)

首次出现: 2015-10-20 14:30:00

最后出现: 2016-01-26 02:40:34

遵循robots.txt: 未知

来源

IP地址(4)	服务器名称	所属国家
95.154.229.204	hosted-by.securefastserver.com	GB
54.74.131.65	ec2-54-74-131-65.eu-west-1.compute.amazonaws.com	IE
54.78.131.124	ec2-54-78-131-124.eu-west-1.compute.amazonaws.com	IE
78.157.207.29	hosted-by.securefastserver.com	GB

访问控制

了解如何控制deepcrawl访问权限，避免deepcrawl抓取行为不当。

是否拦截deepcrawl？

一般不需要拦截，尤其是如果你自己也受益于搜索引擎优化服务。不过，如果你担心服务器资源占用等问题，且您都不使用这些工具，当然也可以选择拦截它们。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 deepcrawl 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。

# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: deepcrawl
Disallow: /

您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

怎样才算有利于SEO的网站结构

众所周知，扁平且层级不超过三级的网站结构是最有利于搜索引擎蜘蛛爬取的。显浅的一句看似易懂但如深入，又未必是那么容易理解。下面我们将深入了解网站结构的定义，重要性及实践，以便于各位技术开发、站长和SEOer在未来的网站开发及运营中应用。

deepcrawl

基本信息

用户代理

访问控制

是否拦截deepcrawl？

通过Robots.txt拦截

站长工具

常见蜘蛛/爬虫

相关文章