Storm-crawler

Storm-crawler蜘蛛/爬蟲屬於爬蟲型別，由Unknown Author開發執行。您可以繼續閱讀下方資訊，以深入瞭解Storm-crawler基本資訊，使用者代理和訪問控制等。

基本資訊

Storm-crawler的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲，可能存在資訊不明的情況。

蜘蛛/爬蟲名稱: Storm-crawler

型別: 爬蟲

開發商: Unknown Author

當前狀態: 活動

使用者代理

關於Storm-crawler蜘蛛或者爬蟲的使用者代理字串，IP地址和伺服器，所在地等資訊如下表格所示：

使用者代理字串: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36/1.0 (built with StormCrawler 2.2; http://someorganization.com/; someone@someorganization.com)

首次出現: 2022-02-15 19:50:44

最後出現: 2022-12-08 12:45:55

遵循robots.txt: 否

來源

IP地址(14)	伺服器名稱	所屬國家
54.244.41.24	ec2-54-244-41-24.us-west-2.compute.amazonaws.com	US
54.185.161.154	ec2-54-185-161-154.us-west-2.compute.amazonaws.com	US
54.191.252.115	ec2-54-191-252-115.us-west-2.compute.amazonaws.com	US
35.166.1.147	ec2-35-166-1-147.us-west-2.compute.amazonaws.com	US
35.86.186.41	ec2-35-86-186-41.us-west-2.compute.amazonaws.com	US
44.242.171.9	ec2-44-242-171-9.us-west-2.compute.amazonaws.com	US
54.186.136.183	ec2-54-186-136-183.us-west-2.compute.amazonaws.com	US
35.84.185.18	ec2-35-84-185-18.us-west-2.compute.amazonaws.com	US
34.219.135.100	ec2-34-219-135-100.us-west-2.compute.amazonaws.com	US
35.164.180.216	ec2-35-164-180-216.us-west-2.compute.amazonaws.com	US
34.215.94.152	ec2-34-215-94-152.us-west-2.compute.amazonaws.com	US
52.12.168.94	ec2-52-12-168-94.us-west-2.compute.amazonaws.com	US
44.234.39.197	ec2-44-234-39-197.us-west-2.compute.amazonaws.com	US

使用者代理字串: Storm Crawler Demo/1.0 (built with StormCrawler ${version}; http://stormcrawler.net/; anil@gmail.com)

首次出現: 2022-12-06 22:05:44

最後出現: 2022-12-06 22:05:44

遵循robots.txt: 未知

來源

IP地址(1)	伺服器名稱	所屬國家
20.232.174.70	20.232.174.70	US

使用者代理字串: StormCrawler

首次出現: 2021-12-16 21:23:14

最後出現: 2022-05-19 19:56:15

遵循robots.txt: 否

來源

IP地址(1)	伺服器名稱	所屬國家
193.191.148.194	wall.nat.iminds.be	BE

使用者代理字串: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36/1.0 (built with StormCrawler 1.18; http://someorganization.com/; someone@someorganization.com)

首次出現: 2021-07-24 04:08:43

最後出現: 2021-10-16 07:19:58

遵循robots.txt: 未知

來源

IP地址(4)	伺服器名稱	所屬國家
54.148.79.212	ec2-54-148-79-212.us-west-2.compute.amazonaws.com	US
34.219.135.100	ec2-34-219-135-100.us-west-2.compute.amazonaws.com	US
54.214.182.167	ec2-54-214-182-167.us-west-2.compute.amazonaws.com	US
34.209.62.163	ec2-34-209-62-163.us-west-2.compute.amazonaws.com	US

使用者代理字串: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36/1.0 (built with StormCrawler 2.1; http://someorganization.com/; someone@someorganization.com)

首次出現: 2021-09-25 06:58:32

最後出現: 2021-10-13 06:35:54

遵循robots.txt: 未知

來源

IP地址(2)	伺服器名稱	所屬國家
52.36.17.177	ec2-52-36-17-177.us-west-2.compute.amazonaws.com	US
35.81.77.114	ec2-35-81-77-114.us-west-2.compute.amazonaws.com	US

使用者代理字串: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36/1.0 (built with StormCrawler 1.16; http://someorganization.com/; someone@someorganization.com)

首次出現: 2020-08-04 21:44:00

最後出現: 2021-07-11 03:41:00

遵循robots.txt: 否

來源

IP地址(4)	伺服器名稱	所屬國家
34.222.160.91	ec2-34-222-160-91.us-west-2.compute.amazonaws.com	US
52.32.205.101	ec2-52-32-205-101.us-west-2.compute.amazonaws.com	US
52.43.203.3	ec2-52-43-203-3.us-west-2.compute.amazonaws.com	US
54.213.163.234	ec2-54-213-163-234.us-west-2.compute.amazonaws.com	US

使用者代理字串: Anonymous Coward/1.0 (built with StormCrawler Archetype 1.18-SNAPSHOT; http://someorganization.com/; someone@someorganization.com)

首次出現: 2021-04-20 19:42:41

最後出現: 2021-04-21 05:57:24

遵循robots.txt: 未知

來源

IP地址(1)	伺服器名稱	所屬國家
109.157.217.137	host109-157-217-137.range109-157.btcentralplus.com	GB

使用者代理字串: Crawler Test/1.0 (built with StormCrawler Elasticsearch Archetype 1.17; http://someorganization.com/; someone@someorganization.com)

首次出現: 2021-01-14 17:18:31

最後出現: 2021-01-14 20:29:44

遵循robots.txt: 未知

來源

IP地址(2)	伺服器名稱	所屬國家
94.130.102.72	?	DE
88.198.19.75	static.88-198-19-75.clients.your-server.de	DE

使用者代理字串: SCESbot/1.14 (built with StormCrawler Archetype 1.14; http://example.com/; some1@example.com)

首次出現: 2020-03-23 15:51:12

最後出現: 2020-03-23 15:51:12

遵循robots.txt: 未知

來源

IP地址(1)	伺服器名稱	所屬國家
171.4.5.177	mx-ll-171.4.5-177.dynamic.3bb.in.th	TH

使用者代理字串: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36/1.0 (built with StormCrawler Archetype 1.8; http://someorganization.com/; someone@someorganization.com)

首次出現: 2019-02-10 09:42:31

最後出現: 2019-05-09 05:37:06

遵循robots.txt: 未知

來源

IP地址(4)	伺服器名稱	所屬國家
54.186.166.248	ec2-54-186-166-248.us-west-2.compute.amazonaws.com	US
35.162.158.149	ec2-35-162-158-149.us-west-2.compute.amazonaws.com	US
54.188.220.103	ec2-54-188-220-103.us-west-2.compute.amazonaws.com	US
35.162.175.250	ec2-35-162-175-250.us-west-2.compute.amazonaws.com	US

使用者代理字串: Storm Crawler test app/1.0 (built with StormCrawler Archetype 1.13; http://someorganization.com/; someone@someorganization.com)

首次出現: 2019-02-06 23:28:59

最後出現: 2019-02-06 23:28:59

遵循robots.txt: 未知

來源

IP地址(1)	伺服器名稱	所屬國家
116.202.31.166	static.166.31.202.116.clients.your-server.de	DE

使用者代理字串: G2 Web Services/1.0 (built with StormCrawler Archetype 1.8; http://someorganization.com/; someone@someorganization.com)

首次出現: 2018-12-24 18:30:48

最後出現: 2019-01-30 08:49:56

遵循robots.txt: 未知

來源

IP地址(4)	伺服器名稱	所屬國家
54.213.172.16	ec2-54-213-172-16.us-west-2.compute.amazonaws.com	US
54.187.245.22	ec2-54-187-245-22.us-west-2.compute.amazonaws.com	US
34.220.178.16	ec2-34-220-178-16.us-west-2.compute.amazonaws.com	US
54.200.213.220	ec2-54-200-213-220.us-west-2.compute.amazonaws.com	US

使用者代理字串: Anonymous Coward/1.0 (A StormCrawler-based crawler; http://someorganization.com/; someone@someorganization.com)

首次出現: 2017-01-11 21:02:50

最後出現: 2017-01-26 15:33:41

遵循robots.txt: 未知

來源

IP地址(4)	伺服器名稱	所屬國家
109.157.217.137	host109-157-217-137.range109-157.btcentralplus.com	GB
86.177.114.172	host86-177-114-172.range86-177.btcentralplus.com	GB
34.195.157.29	ec2-34-195-157-29.compute-1.amazonaws.com	US
54.88.185.64	ec2-54-88-185-64.compute-1.amazonaws.com	US
54.197.222.15	ec2-54-197-222-15.compute-1.amazonaws.com	US
54.165.173.125	ec2-54-165-173-125.compute-1.amazonaws.com	US
86.176.175.83	host86-176-175-83.range86-176.btcentralplus.com	GB
31.54.38.4	host31-54-38-4.range31-54.btcentralplus.com	GB

使用者代理字串: Anonymous Coward/1.0 (A StormCrawler-based crawler; http://someorganization.com/; someone@someorganization.com)

首次出現: 2017-01-11 21:02:50

最後出現: 2017-01-26 15:33:41

遵循robots.txt: 未知

來源

IP地址(4)	伺服器名稱	所屬國家
34.195.157.29	ec2-34-195-157-29.compute-1.amazonaws.com	US
54.88.185.64	ec2-54-88-185-64.compute-1.amazonaws.com	US
54.197.222.15	ec2-54-197-222-15.compute-1.amazonaws.com	US
54.165.173.125	ec2-54-165-173-125.compute-1.amazonaws.com	US

訪問控制

瞭解如何控制Storm-crawler訪問許可權，避免Storm-crawler抓取行為不當。

是否攔截Storm-crawler？

可以考慮攔截。。爬蟲通常會下載公開的網際網路內容，這些內容預設情況下可以免費訪問。不過，如果你不希望你的內容被用於未經授權的目的，你應該攔截它們。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Storm-crawler 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。

# robots.txt

# 下列程式碼一般情況可以攔截該代理

User-agent: Storm-crawler

Disallow: /

# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: Storm-crawler Disallow: /

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: Storm-crawler
Disallow: /

您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

站長工具

我們為站長量身定做的高效工具集。

檢視全部工具

常見蜘蛛/爬蟲

Common Spiders

Crawler-IP-Fetcher

Crawler-IP-Fetcher蜘蛛/爬蟲屬於爬蟲型別，由Unknown Author開發執行。您可以繼續閱讀下方資訊，以深入瞭解Crawler-IP-Fetcher基本資訊，使用者代理和訪問控制等。

DARPResearchBot

DARPResearchBot蜘蛛/爬蟲屬於爬蟲型別，由Unknown Author開發執行。您可以繼續閱讀下方資訊，以深入瞭解DARPResearchBot基本資訊，使用者代理和訪問控制等。

xfa1

xfa1蜘蛛/爬蟲屬於爬蟲型別，由Unknown Author開發執行。您可以繼續閱讀下方資訊，以深入瞭解xfa1基本資訊，使用者代理和訪問控制等。

MassScanner

MassScanner蜘蛛/爬蟲屬於爬蟲型別，由Unknown Author開發執行。您可以繼續閱讀下方資訊，以深入瞭解MassScanner基本資訊，使用者代理和訪問控制等。

robots-bulk-crawler

robots-bulk-crawler蜘蛛/爬蟲屬於爬蟲型別，由Unknown Author開發執行。您可以繼續閱讀下方資訊，以深入瞭解robots-bulk-crawler基本資訊，使用者代理和訪問控制等。

studyBot

studyBot蜘蛛/爬蟲屬於爬蟲型別，由Unknown Author開發執行。您可以繼續閱讀下方資訊，以深入瞭解studyBot基本資訊，使用者代理和訪問控制等。

AASA-Bot

AASA-Bot蜘蛛/爬蟲屬於爬蟲型別，由Unknown Author開發執行。您可以繼續閱讀下方資訊，以深入瞭解AASA-Bot基本資訊，使用者代理和訪問控制等。

Tranco Crawler

Tranco Crawler蜘蛛/爬蟲屬於爬蟲型別，由Unknown Author開發執行。您可以繼續閱讀下方資訊，以深入瞭解Tranco Crawler基本資訊，使用者代理和訪問控制等。

如何做搜尋引擎蜘蛛日誌分析

搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案，分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點，及檢視搜尋引擎蜘蛛在一段時間內的行為。

什麼是抓取預算（Crawl Budget）及如何最大化其利用價值

抓取預算（Crawl Budget），您又可以將之稱為抓取頻率、抓取量。這個量一般是由搜尋引擎蜘蛛根據網站的質量度和權重給域名分配的。理解抓取預算的定義，重要性及最大化其效率，這有利於網站的索引、排名。

怎樣才算有利於SEO的網站結構

眾所周知，扁平且層級不超過三級的網站結構是最有利於搜尋引擎蜘蛛爬取的。顯淺的一句看似易懂但如深入，又未必是那麼容易理解。下面我們將深入瞭解網站結構的定義，重要性及實踐，以便於各位技術開發、站長和SEOer在未來的網站開發及運營中應用。

為什麼要控制Googlebot抓取速度？

在本文中，我們將瞭解您為什麼要控制Googlebot以及如何控制Googlebot和其他搜尋引擎爬蟲的抓取速度。

如何攔截Google和Bing訪問您的網站？

在本文中，我們將解釋如何遮蔽Googlebot和Bingbot，遮蔽爬蟲後會發生什麼以及出現爬取問題的常見原因。

Bing網站管理員工具Bingbot網站爬取頻率設定

Bing網站管理員工具中的爬網空間功能允許網站管理員控制Bingbot抓取您的網站的速率。當您的網站上有訪問者以適當地管理頻寬時，需要進行爬網控制以限制Bingbot和Googlebot等搜尋引擎蜘蛛的活動。

WordPress攔截IP地址的6種方法

當網站規模擴大時，您需要採取某些措施來限制來自評論垃圾郵件傳送者、無效機器人和人類攻擊者的流量。這對於保護您的伺服器資源可用於真實使用者以及您支付託管費用以獲得真實訪問者至關重要。在本文中，我們將解釋在WordPress中攔截IP地址的6種方法。

如何禁止搜尋引擎索引WordPress網站

您可能想要隱藏站點上的內容的原因有很多，但依靠“建議搜尋引擎不索引本站點”選項並不是確保此類內容不被看到的最佳方法。除非您想在網路上隱藏您的整個網站，否則永遠不要單擊此選項，因為如果不小心切換，它會對您的SEO造成巨大損害。

Storm-crawler

基本資訊

使用者代理

訪問控制

是否攔截Storm-crawler？

通過Robots.txt攔截

站長工具

常見蜘蛛/爬蟲

相關文章