Crawlera
Crawlera蜘蛛/爬蟲屬於爬蟲型別，由Zyte開發執行。您可以繼續閱讀下方資訊，以深入瞭解Crawlera基本資訊，使用者代理和訪問控制等。
基本資訊
Crawlera的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲，可能存在資訊不明的情況。
- 蜘蛛/爬蟲名稱
- Crawlera
- 型別
- 爬蟲
- 開發商
-
Zyte
- 當前狀態
-
無效
使用者代理
關於Crawlera蜘蛛或者爬蟲的使用者代理字串，IP地址和伺服器，所在地等資訊如下表格所示：
Crawlera/1.10.2
-
Crawlera/1.10.2
-
Crawlera/1.10.2
-
Crawlera/1.10.2
-
Crawlera/1.10.2
-
Crawlera/1.10.2
-
Crawlera/1.10.2
-
Crawlera/1.10.2
-
Crawlera/1.10.2
-
Crawlera/1.10.2
-
Crawlera/1.10.2
-
Crawlera/1.10.2
-
Crawlera/1.10.2
-
Crawlera/1.10.2
-
Crawlera/1.10.2
-
Crawlera/1.10.2
-
Crawlera/1.10.2
- 使用者代理字串
- Mozilla/5.0 (compatible; Crawlera/1.10.2; UID 40409)
- 首次出現
- 2015-02-07 05:07:09
- 最後出現
- 2016-02-08 13:18:45
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 172.245.226.71 |
countryside89.congesia.com |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; Crawlera/1.10.2; UID 70350)
- 首次出現
- 2015-02-07 05:07:09
- 最後出現
- 2016-02-08 11:45:34
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 172.245.144.113 |
172-245-144-113-host.colocrossing.com |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; Crawlera/1.10.2; UID 6573)
- 首次出現
- 2015-02-07 05:07:09
- 最後出現
- 2016-02-08 10:57:37
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 135.84.214.174 |
135.84.214.174 |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; Crawlera/1.10.2; UID 47129)
- 首次出現
- 2016-02-07 09:49:50
- 最後出現
- 2016-02-07 09:49:50
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 206.225.135.137 |
? |
GB |
- 使用者代理字串
- Mozilla/5.0 (compatible; Crawlera/1.10.2; UID 75425)
- 首次出現
- 2016-02-07 09:47:53
- 最後出現
- 2016-02-07 09:47:53
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 107.172.252.209 |
107-172-252-209-host.colocrossing.com |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; Crawlera/1.10.2; UID 24522)
- 首次出現
- 2016-02-07 09:46:10
- 最後出現
- 2016-02-07 09:46:10
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 107.173.60.230 |
107-173-60-230-host.colocrossing.com |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; Crawlera/1.10.2; UID 85747)
- 首次出現
- 2016-02-07 09:44:58
- 最後出現
- 2016-02-07 09:44:58
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 172.245.152.132 |
172-245-152-132-host.colocrossing.com |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; Crawlera/1.10.2; UID 73393)
- 首次出現
- 2015-02-07 05:07:09
- 最後出現
- 2016-02-01 21:31:48
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 172.245.158.147 |
172-245-158-147-host.colocrossing.com |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; Crawlera/1.10.2; UID 70054)
- 首次出現
- 2015-02-07 05:07:09
- 最後出現
- 2016-02-01 21:25:26
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 172.245.146.193 |
172-245-146-193-host.colocrossing.com |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; Crawlera/1.10.2; UID 92751)
- 首次出現
- 2015-02-07 05:07:09
- 最後出現
- 2016-02-01 21:17:38
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 107.173.60.218 |
107-173-60-218-host.colocrossing.com |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; Crawlera/1.10.2; UID 43063)
- 首次出現
- 2015-02-07 05:07:09
- 最後出現
- 2016-02-01 21:06:19
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 107.173.242.138 |
107-173-242-138-host.colocrossing.com |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; Crawlera/1.10.2; UID 8942)
- 首次出現
- 2016-02-01 04:48:57
- 最後出現
- 2016-02-01 04:48:57
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 107.173.3.252 |
107-173-3-252-host.colocrossing.com |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; Crawlera/1.10.2; UID 52327)
- 首次出現
- 2016-02-01 04:43:08
- 最後出現
- 2016-02-01 04:43:08
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 198.23.152.251 |
198-23-152-251-host.colocrossing.com |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; Crawlera/1.10.2; UID 11912)
- 首次出現
- 2016-02-01 04:28:33
- 最後出現
- 2016-02-01 04:28:33
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 172.245.158.47 |
172-245-158-47-host.colocrossing.com |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; Crawlera/1.10.2; UID 84846)
- 首次出現
- 2016-02-01 04:10:32
- 最後出現
- 2016-02-01 04:10:32
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 172.245.146.42 |
172-245-146-42-host.colocrossing.com |
US |
| 172.245.226.71 |
countryside89.congesia.com |
US |
| 172.245.144.113 |
172-245-144-113-host.colocrossing.com |
US |
| 135.84.214.174 |
135.84.214.174 |
US |
| 206.225.135.137 |
? |
GB |
| 107.172.252.209 |
107-172-252-209-host.colocrossing.com |
US |
| 107.173.60.230 |
107-173-60-230-host.colocrossing.com |
US |
| 172.245.152.132 |
172-245-152-132-host.colocrossing.com |
US |
| 172.245.158.147 |
172-245-158-147-host.colocrossing.com |
US |
| 172.245.146.193 |
172-245-146-193-host.colocrossing.com |
US |
| 107.173.60.218 |
107-173-60-218-host.colocrossing.com |
US |
| 107.173.242.138 |
107-173-242-138-host.colocrossing.com |
US |
| 107.173.3.252 |
107-173-3-252-host.colocrossing.com |
US |
| 198.23.152.251 |
198-23-152-251-host.colocrossing.com |
US |
| 172.245.158.47 |
172-245-158-47-host.colocrossing.com |
US |
| 23.95.193.71 |
23-95-193-71-host.colocrossing.com |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; Crawlera/1.10.2; UID 84846)
- 首次出現
- 2016-02-01 04:10:32
- 最後出現
- 2016-02-01 04:10:32
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 23.95.193.71 |
23-95-193-71-host.colocrossing.com |
US |
訪問控制
瞭解如何控制Crawlera訪問許可權，避免Crawlera抓取行為不當。
是否攔截Crawlera？
可以考慮攔截。。爬蟲通常會下載公開的網際網路內容，這些內容預設情況下可以免費訪問。不過，如果你不希望你的內容被用於未經授權的目的，你應該攔截它們。
通過Robots.txt攔截
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Crawlera 或限制其訪問許可權。我們建議安裝 Spider Analyser
外掛，以檢查它是否真正遵循這些規則。
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: Crawlera
Disallow: /
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: Crawlera
Disallow: /
您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
