BuiltWith crawler

BuiltWith crawler蜘蛛/爬蟲屬於工具型別，由BuiltWith Pty Ltd開發執行。您可以繼續閱讀下方資訊，以深入瞭解BuiltWith crawler基本資訊，使用者代理和訪問控制等。

基本資訊

BuiltWith crawler的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲，可能存在資訊不明的情況。

蜘蛛/爬蟲名稱: BuiltWith crawler

型別: 工具

開發商: BuiltWith Pty Ltd

當前狀態: 活動

使用者代理

關於BuiltWith crawler蜘蛛或者爬蟲的使用者代理字串，IP地址和伺服器，所在地等資訊如下表格所示：

使用者代理字串: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko; compatible; BW/1.3; rb.gy/qyzae5) Chrome/124.0.0.0 Safari/537.36

首次出現: 2024-12-21 00:06:04

最後出現: 2025-01-09 11:57:45

遵循robots.txt: 未知

來源

IP地址(25)	伺服器名稱	所屬國家
35.217.18.157	157.18.217.35.bc.googleusercontent.com	FI
34.0.211.53	53.211.0.34.bc.googleusercontent.com	ES
35.219.245.138	?	IT
34.0.158.203	?	US
35.212.171.43	43.171.212.35.bc.googleusercontent.com	US

使用者代理字串: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko; compatible; BW/1.2; rb.gy/oupwis) Chrome/84.0.4147.105 Safari/537.36

首次出現: 2024-04-26 12:28:40

最後出現: 2024-05-03 05:34:32

遵循robots.txt: 未知

來源

IP地址(224)	伺服器名稱	所屬國家
35.210.108.76	?	BE
35.207.212.6	?	IN
35.217.68.215	?	US
3.78.247.129	ec2-3-78-247-129.eu-central-1.compute.amazonaws.com	DE
35.217.33.216	?	FI

使用者代理字串: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko; compatible; BW/1.1; bit.ly/2W6Px8S; 0756356a4e) Chrome/84.0.4147.105 Safari/537.36

首次出現: 2022-02-05 17:19:17

最後出現: 2022-08-27 04:15:09

遵循robots.txt: 未知

來源

IP地址(7)	伺服器名稱	所屬國家
35.217.51.214	?	FI
3.128.79.74	ec2-3-128-79-74.us-east-2.compute.amazonaws.com	US
35.87.86.67	ec2-35-87-86-67.us-west-2.compute.amazonaws.com	US
18.216.214.63	ec2-18-216-214-63.us-east-2.compute.amazonaws.com	US
35.208.60.118	?	US

使用者代理字串: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko; compatible; BW/1.1; bit.ly/2W6Px8S; 8b8d52af0d) Chrome/84.0.4147.105 Safari/537.36

首次出現: 2022-02-05 15:07:51

最後出現: 2022-08-27 00:01:52

遵循robots.txt: 未知

來源

IP地址(7)	伺服器名稱	所屬國家
35.211.224.135	?	US
35.215.51.71	?	CA
54.171.212.141	ec2-54-171-212-141.eu-west-1.compute.amazonaws.com	IE
3.143.239.95	ec2-3-143-239-95.us-east-2.compute.amazonaws.com	US
34.222.190.88	ec2-34-222-190-88.us-west-2.compute.amazonaws.com	US

使用者代理字串: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko; compatible; BW/1.1; bit.ly/2W6Px8S; 50dcc0e8d1) Chrome/84.0.4147.105 Safari/537.36

首次出現: 2022-02-03 15:26:50

最後出現: 2022-08-24 02:53:03

遵循robots.txt: 未知

來源

IP地址(8)	伺服器名稱	所屬國家
35.213.167.52	?	SG
44.200.61.147	ec2-44-200-61-147.compute-1.amazonaws.com	US
35.208.170.235	?	?
34.253.228.106	ec2-34-253-228-106.eu-west-1.compute.amazonaws.com	IE
35.84.2.231	ec2-35-84-2-231.us-west-2.compute.amazonaws.com	US

使用者代理字串: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko; compatible; BW/1.1; bit.ly/2W6Px8S; 22542faf4a) Chrome/84.0.4147.105 Safari/537.36

首次出現: 2022-02-02 12:55:12

最後出現: 2022-08-22 15:46:54

遵循robots.txt: 未知

來源

IP地址(7)	伺服器名稱	所屬國家
35.212.239.193	?	US
35.217.92.253	?	US
35.84.189.251	ec2-35-84-189-251.us-west-2.compute.amazonaws.com	US
35.217.23.45	?	FI
35.217.36.186	?	FI

使用者代理字串: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko; compatible; BW/1.1; bit.ly/2W6Px8S; f7a1fd935a) Chrome/84.0.4147.105 Safari/537.36

首次出現: 2022-01-23 05:55:22

最後出現: 2022-08-20 16:49:24

遵循robots.txt: 未知

來源

IP地址(9)	伺服器名稱	所屬國家
35.210.151.25	?	BE
35.211.177.192	?	US
3.99.174.5	ec2-3-99-174-5.ca-central-1.compute.amazonaws.com	CA
35.217.0.133	?	FI
3.15.149.246	ec2-3-15-149-246.us-east-2.compute.amazonaws.com	US

使用者代理字串: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko; compatible; BW/1.1; bit.ly/2W6Px8S; a2244af186) Chrome/84.0.4147.105 Safari/537.36

首次出現: 2022-01-26 03:07:25

最後出現: 2022-08-11 11:15:17

遵循robots.txt: 未知

來源

IP地址(7)	伺服器名稱	所屬國家
35.206.153.39	?	BE
35.215.117.69	?	US
13.210.79.45	ec2-13-210-79-45.ap-southeast-2.compute.amazonaws.com	AU
35.215.64.144	?	US
104.45.194.225	?	US

使用者代理字串: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko; compatible; BW/1.1; bit.ly/2W6Px8S; 85f6ace805) Chrome/84.0.4147.105 Safari/537.36

首次出現: 2022-01-19 13:56:44

最後出現: 2022-08-06 22:34:46

遵循robots.txt: 未知

來源

IP地址(7)	伺服器名稱	所屬國家
35.217.123.100	?	US
35.206.194.63	?	TW
35.213.211.88	?	AU
3.126.55.41	ec2-3-126-55-41.eu-central-1.compute.amazonaws.com	DE
3.23.92.26	ec2-3-23-92-26.us-east-2.compute.amazonaws.com	US

使用者代理字串: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko; compatible; BW/1.1; bit.ly/2W6Px8S; 6fd1c55da3) Chrome/84.0.4147.105 Safari/537.36

首次出現: 2022-02-09 11:10:21

最後出現: 2022-07-22 17:54:06

遵循robots.txt: 未知

來源

IP地址(6)	伺服器名稱	所屬國家
35.212.72.131	131.72.212.35.bc.googleusercontent.com	US
35.213.223.219	219.223.213.35.bc.googleusercontent.com	AU
35.213.234.99	99.234.213.35.bc.googleusercontent.com	AU
35.213.133.191	191.133.213.35.bc.googleusercontent.com	SG
35.213.241.103	103.241.213.35.bc.googleusercontent.com	AU

使用者代理字串: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko; compatible; BW/1.1; bit.ly/2W6Px8S; 57a74ea5be) Chrome/84.0.4147.105 Safari/537.36

首次出現: 2022-03-02 00:10:31

最後出現: 2022-07-13 18:01:14

遵循robots.txt: 未知

來源

IP地址(9)	伺服器名稱	所屬國家
35.87.64.110	ec2-35-87-64-110.us-west-2.compute.amazonaws.com	US
35.214.190.203	?	NL
35.212.179.95	?	US
44.200.185.9	ec2-44-200-185-9.compute-1.amazonaws.com	US
3.138.204.69	ec2-3-138-204-69.us-east-2.compute.amazonaws.com	US

使用者代理字串: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko; compatible; BW/1.1; bit.ly/2W6Px8S) Chrome/74.0.3729.131 Safari/537.36

首次出現: 2020-04-29 05:40:31

最後出現: 2022-03-02 16:02:33

遵循robots.txt: 未知

來源

IP地址(10)	伺服器名稱	所屬國家
104.45.194.225	104.45.194.225	US
44.230.202.248	ec2-44-230-202-248.us-west-2.compute.amazonaws.com	US
35.208.51.137	137.51.208.35.bc.googleusercontent.com	US
35.219.139.221	221.139.219.35.bc.googleusercontent.com	US
3.144.1.0	ec2-3-144-1-0.us-east-2.compute.amazonaws.com	US

使用者代理字串: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko; compatible; BW/1.1; bit.ly/2W6Px8S) Chrome/84.0.4147.105 Safari/537.36

首次出現: 2020-08-09 13:37:16

最後出現: 2022-03-02 06:08:50

遵循robots.txt: 未知

來源

IP地址(230)	伺服器名稱	所屬國家
35.217.31.190	?	FI
35.211.95.9	?	US
35.217.92.253	?	US
35.213.167.52	?	SG
35.206.153.39	?	BE

使用者代理字串: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko; compatible; BW/1.1; bit.ly/2W6Px8S) Chrome/84.0.4147.105 Safari/537.36

首次出現: 2020-08-09 13:37:16

最後出現: 2022-03-02 06:08:50

遵循robots.txt: 未知

來源

IP地址(10)	伺服器名稱	所屬國家
35.213.167.52	?	SG
35.219.137.69	69.137.219.35.bc.googleusercontent.com	US
51.161.15.95	elmo.builtwith.xyz	FR
35.215.8.122	?	US
35.213.241.103	?	AU

使用者代理字串: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko; compatible; BuiltWith/1.0; +http://builtwith.com/biup) Chrome/74.0.3729.131 Safari/537.36

首次出現: 2019-12-01 18:40:16

最後出現: 2020-06-17 03:25:44

遵循robots.txt: 未知

來源

IP地址(24)	伺服器名稱	所屬國家
37.225.8.119	public-gprs549174.centertel.pl	PL
31.0.40.226	apn-31-0-40-226.dynamic.gprs.plus.pl	PL
37.225.8.85	public-gprs549140.centertel.pl	PL
37.248.224.10	apn-37-248-224-10.data.lycamobile.pl	PL
31.0.47.86	apn-31-0-47-86.dynamic.gprs.plus.pl	PL

使用者代理字串: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko; compatible; BuiltWith/1.0; +http://builtwith.com/biup) Chrome/74.0.3729.131 Safari/537.36

首次出現: 2019-12-01 18:40:16

最後出現: 2020-06-17 03:25:44

遵循robots.txt: 未知

來源

IP地址(10)	伺服器名稱	所屬國家
52.53.243.114	ec2-52-53-243-114.us-west-1.compute.amazonaws.com	US
18.228.219.23	ec2-18-228-219-23.sa-east-1.compute.amazonaws.com	BR
3.249.36.83	ec2-3-249-36-83.eu-west-1.compute.amazonaws.com	US
3.112.27.172	ec2-3-112-27-172.ap-northeast-1.compute.amazonaws.com	JP
18.229.140.74	ec2-18-229-140-74.sa-east-1.compute.amazonaws.com	BR

使用者代理字串: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko; compatible; BuiltWith/1.1; http://builtwith.com/biup) Chrome/74.0.3729.131 Safari/537.36

首次出現: 2020-04-25 23:30:12

最後出現: 2020-04-25 23:30:16

遵循robots.txt: 未知

來源

IP地址(10)	伺服器名稱	所屬國家
3.235.85.188	ec2-3-235-85-188.compute-1.amazonaws.com	US
3.231.57.174	ec2-3-231-57-174.compute-1.amazonaws.com	US
18.237.179.230	ec2-18-237-179-230.us-west-2.compute.amazonaws.com	US
34.222.64.224	ec2-34-222-64-224.us-west-2.compute.amazonaws.com	US
63.33.190.92	ec2-63-33-190-92.eu-west-1.compute.amazonaws.com	IE

使用者代理字串: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko; compatible; BuiltWith/1.1; http://builtwith.com/biup) Chrome/74.0.3729.131 Safari/537.36

首次出現: 2020-04-25 23:30:12

最後出現: 2020-04-25 23:30:16

遵循robots.txt: 未知

來源

IP地址(1)	伺服器名稱	所屬國家
34.220.63.207	ec2-34-220-63-207.us-west-2.compute.amazonaws.com	US

使用者代理字串: Mozilla/5.0 (X11; Ubuntu; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko; compatible; BuiltWith/1.0; +http://builtwith.com/biup) Chrome/60.0.3112.101 Safari/537.36

首次出現: 2020-01-18 05:54:29

最後出現: 2020-03-25 21:20:22

遵循robots.txt: 未知

來源

IP地址(3)	伺服器名稱	所屬國家
54.90.56.51	ec2-54-90-56-51.compute-1.amazonaws.com	US
158.69.52.114	bst.builtwith.xyz	CA
13.250.125.83	ec2-13-250-125-83.ap-southeast-1.compute.amazonaws.com	SG

使用者代理字串: Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.13 (KHTML, like Gecko) Chrome/9.0.597.107 Safari/534.13 BuiltWith/1.2

首次出現: 2019-09-19 23:51:44

最後出現: 2019-09-19 23:51:44

遵循robots.txt: 未知

來源

IP地址(10)	伺服器名稱	所屬國家
195.242.80.29	195.242.80.29	UA
195.242.80.91	195.242.80.91	UA
195.242.80.31	195.242.80.31	UA
195.242.80.130	195.242.80.130	UA
195.242.80.92	195.242.80.92	UA

使用者代理字串: builtwith

首次出現: 2017-07-04 08:12:54

最後出現: 2017-07-04 08:12:54

遵循robots.txt: 未知

來源

IP地址(1)	伺服器名稱	所屬國家
151.80.98.81	ns3052559.ip-151-80-98.eu	FR

訪問控制

瞭解如何控制BuiltWith crawler訪問許可權，避免BuiltWith crawler抓取行為不當。

是否攔截BuiltWith crawler？

可能不需要。工具型別爬蟲通常為網站所有者使用此類工具對網站進行相關服務請求才會出現。當然，實際情況需站長判斷後再作決定。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 BuiltWith crawler 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: BuiltWith crawler
Disallow: /

您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

站長工具

我們為站長量身定做的高效工具集。

檢視全部工具

常見蜘蛛/爬蟲

Common Spiders

SearchScore bot

SearchScore bot蜘蛛/爬蟲屬於工具型別，由Product Specialists Ltd開發執行。您可以繼續閱讀下方資訊，以深入瞭解SearchScore bot基本資訊，使用者代理和訪問控制等。

ModernizeBot

ModernizeBot蜘蛛/爬蟲屬於工具型別，由ModernizeYourWebsite.com開發執行。您可以繼續閱讀下方資訊，以深入瞭解ModernizeBot基本資訊，使用者代理和訪問控制等。

SEODiffBot

SEODiffBot蜘蛛/爬蟲屬於工具型別，由SEODiff開發執行。您可以繼續閱讀下方資訊，以深入瞭解SEODiffBot基本資訊，使用者代理和訪問控制等。

Misskey bot

Misskey bot蜘蛛/爬蟲屬於工具型別，由Misskey Project開發執行。您可以繼續閱讀下方資訊，以深入瞭解Misskey bot基本資訊，使用者代理和訪問控制等。

Validbot

Validbot蜘蛛/爬蟲屬於工具型別，由Jake Olefsky開發執行。您可以繼續閱讀下方資訊，以深入瞭解Validbot基本資訊，使用者代理和訪問控制等。

Google-BusinessLinkVerification

Google-BusinessLinkVerification蜘蛛/爬蟲屬於工具型別，由Google Inc.開發執行。您可以繼續閱讀下方資訊，以深入瞭解Google-BusinessLinkVerification基本資訊，使用者代理和訪問控制等。

StatusNest

StatusNest蜘蛛/爬蟲屬於工具型別，由StatusNest開發執行。您可以繼續閱讀下方資訊，以深入瞭解StatusNest基本資訊，使用者代理和訪問控制等。

Observatory

Observatory蜘蛛/爬蟲屬於工具型別，由Mozilla Foundation開發執行。您可以繼續閱讀下方資訊，以深入瞭解Observatory基本資訊，使用者代理和訪問控制等。

如何做搜尋引擎蜘蛛日誌分析

搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案，分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點，及檢視搜尋引擎蜘蛛在一段時間內的行為。

什麼是抓取預算（Crawl Budget）及如何最大化其利用價值

抓取預算（Crawl Budget），您又可以將之稱為抓取頻率、抓取量。這個量一般是由搜尋引擎蜘蛛根據網站的質量度和權重給域名分配的。理解抓取預算的定義，重要性及最大化其效率，這有利於網站的索引、排名。

怎樣才算有利於SEO的網站結構

眾所周知，扁平且層級不超過三級的網站結構是最有利於搜尋引擎蜘蛛爬取的。顯淺的一句看似易懂但如深入，又未必是那麼容易理解。下面我們將深入瞭解網站結構的定義，重要性及實踐，以便於各位技術開發、站長和SEOer在未來的網站開發及運營中應用。

為什麼要控制Googlebot抓取速度？

在本文中，我們將瞭解您為什麼要控制Googlebot以及如何控制Googlebot和其他搜尋引擎爬蟲的抓取速度。

如何攔截Google和Bing訪問您的網站？

在本文中，我們將解釋如何遮蔽Googlebot和Bingbot，遮蔽爬蟲後會發生什麼以及出現爬取問題的常見原因。

Bing網站管理員工具Bingbot網站爬取頻率設定

Bing網站管理員工具中的爬網空間功能允許網站管理員控制Bingbot抓取您的網站的速率。當您的網站上有訪問者以適當地管理頻寬時，需要進行爬網控制以限制Bingbot和Googlebot等搜尋引擎蜘蛛的活動。

WordPress攔截IP地址的6種方法

當網站規模擴大時，您需要採取某些措施來限制來自評論垃圾郵件傳送者、無效機器人和人類攻擊者的流量。這對於保護您的伺服器資源可用於真實使用者以及您支付託管費用以獲得真實訪問者至關重要。在本文中，我們將解釋在WordPress中攔截IP地址的6種方法。

如何禁止搜尋引擎索引WordPress網站

您可能想要隱藏站點上的內容的原因有很多，但依靠“建議搜尋引擎不索引本站點”選項並不是確保此類內容不被看到的最佳方法。除非您想在網路上隱藏您的整個網站，否則永遠不要單擊此選項，因為如果不小心切換，它會對您的SEO造成巨大損害。

BuiltWith crawler

基本資訊

使用者代理

訪問控制

是否攔截BuiltWith crawler？

通過Robots.txt攔截

站長工具

常見蜘蛛/爬蟲

相關文章