deepcrawl
deepcrawl蜘蛛/爬蟲屬於營銷型別，由Written Byte Ltd開發執行。您可以繼續閱讀下方資訊，以深入瞭解deepcrawl基本資訊，使用者代理和訪問控制等。
基本資訊
deepcrawl的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲，可能存在資訊不明的情況。
- 蜘蛛/爬蟲名稱
- deepcrawl
- 型別
- 營銷
- 開發商
-
Written Byte Ltd
- 當前狀態
-
活動
使用者代理
關於deepcrawl蜘蛛或者爬蟲的使用者代理字串，IP地址和伺服器，所在地等資訊如下表格所示：
deepcrawl
-
deepcrawl
-
deepcrawl
-
deepcrawl
-
deepcrawl
-
deepcrawl
-
deepcrawl
-
deepcrawl
-
deepcrawl
-
deepcrawl
-
deepcrawl
- 使用者代理字串
- Mozilla/5.0 (compatible; Googlebot/2.1; https://deepcrawl.com/bot)
- 首次出現
- 2017-01-17 15:05:59
- 最後出現
- 2020-04-13 07:08:54
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(10) |
伺服器名稱 |
所屬國家 |
| 52.90.120.170 |
ec2-52-90-120-170.compute-1.amazonaws.com |
US |
| 54.211.202.136 |
ec2-54-211-202-136.compute-1.amazonaws.com |
US |
| 54.211.203.64 |
ec2-54-211-203-64.compute-1.amazonaws.com |
US |
| 52.206.110.111 |
ec2-52-206-110-111.compute-1.amazonaws.com |
US |
| 54.82.148.241 |
ec2-54-82-148-241.compute-1.amazonaws.com |
US |
- 使用者代理字串
- Mozilla/5.0 (Windows; U; Windows NT 6.1; en-GB; rv:1.9.1.7) Gecko/20091221 Firefox/3.5.7 https://deepcrawl.com/bot
- 首次出現
- 2020-02-01 23:56:23
- 最後出現
- 2020-02-01 23:56:23
- 遵循robots.txt
- 未知
- 使用者代理字串
- deepcrawl wp 1337 https://deepcrawl.com/bot
- 首次出現
- 2020-01-29 08:18:23
- 最後出現
- 2020-01-29 08:18:23
- 遵循robots.txt
- 未知
- 使用者代理字串
- Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) https://deepcrawl.com/bot
- 首次出現
- 2018-05-30 18:57:39
- 最後出現
- 2020-01-24 14:23:52
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 54.91.128.152 |
ec2-54-91-128-152.compute-1.amazonaws.com |
US |
- 使用者代理字串
- Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/deepcrawl-dfh-bot.html) https://deepcrawl.com/bot
- 首次出現
- 2020-01-21 14:52:35
- 最後出現
- 2020-01-21 14:52:35
- 遵循robots.txt
- 未知
- 使用者代理字串
- optimized https://deepcrawl.com/bot
- 首次出現
- 2020-01-18 02:35:41
- 最後出現
- 2020-01-18 02:35:41
- 遵循robots.txt
- 未知
- 使用者代理字串
- Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) https://deepcrawl.com/bot
- 首次出現
- 2018-05-22 20:21:54
- 最後出現
- 2019-07-04 13:58:29
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(4) |
伺服器名稱 |
所屬國家 |
| 18.207.176.114 |
ec2-18-207-176-114.compute-1.amazonaws.com |
US |
| 54.227.40.88 |
ec2-54-227-40-88.compute-1.amazonaws.com |
US |
| 35.171.85.48 |
ec2-35-171-85-48.compute-1.amazonaws.com |
US |
| 54.175.161.62 |
ec2-54-175-161-62.compute-1.amazonaws.com |
US |
- 使用者代理字串
- Googlebot deepcrawl
- 首次出現
- 2016-01-17 15:54:04
- 最後出現
- 2018-10-04 08:07:12
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(5) |
伺服器名稱 |
所屬國家 |
| 35.153.210.124 |
ec2-35-153-210-124.compute-1.amazonaws.com |
US |
| 204.236.207.68 |
ec2-204-236-207-68.compute-1.amazonaws.com |
US |
| 54.211.200.160 |
ec2-54-211-200-160.compute-1.amazonaws.com |
US |
| 54.211.201.121 |
ec2-54-211-201-121.compute-1.amazonaws.com |
US |
| 54.165.19.169 |
ec2-54-165-19-169.compute-1.amazonaws.com |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; Googlebot/2.1; https://www.deepcrawl.com/bot)
- 首次出現
- 2015-10-20 14:30:00
- 最後出現
- 2016-01-26 02:40:34
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(48) |
伺服器名稱 |
所屬國家 |
| 54.211.202.136 |
ec2-54-211-202-136.compute-1.amazonaws.com |
US |
| 52.90.120.170 |
ec2-52-90-120-170.compute-1.amazonaws.com |
US |
| 54.211.203.64 |
ec2-54-211-203-64.compute-1.amazonaws.com |
US |
| 52.206.110.111 |
ec2-52-206-110-111.compute-1.amazonaws.com |
US |
| 54.209.202.135 |
ec2-54-209-202-135.compute-1.amazonaws.com |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; Googlebot/2.1; https://www.deepcrawl.com/bot)
- 首次出現
- 2015-10-20 14:30:00
- 最後出現
- 2016-01-26 02:40:34
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(4) |
伺服器名稱 |
所屬國家 |
| 95.154.229.204 |
hosted-by.securefastserver.com |
GB |
| 54.74.131.65 |
ec2-54-74-131-65.eu-west-1.compute.amazonaws.com |
IE |
| 54.78.131.124 |
ec2-54-78-131-124.eu-west-1.compute.amazonaws.com |
IE |
| 78.157.207.29 |
hosted-by.securefastserver.com |
GB |
訪問控制
瞭解如何控制deepcrawl訪問許可權，避免deepcrawl抓取行為不當。
是否攔截deepcrawl？
一般不需要攔截，尤其是如果你自己也受益於搜尋引擎優化服務。不過，如果你擔心伺服器資源佔用等問題，且您都不使用這些工具，當然也可以選擇攔截它們。
通過Robots.txt攔截
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 deepcrawl 或限制其訪問許可權。我們建議安裝 Spider Analyser
外掛，以檢查它是否真正遵循這些規則。
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: deepcrawl
Disallow: /
您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
