Scrapy

Scrapy蜘蛛/爬蟲屬於爬蟲型別，由Zyte開發執行。您可以繼續閱讀下方資訊，以深入瞭解Scrapy基本資訊，使用者代理和訪問控制等。

基本資訊

Scrapy的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲，可能存在資訊不明的情況。

蜘蛛/爬蟲名稱: Scrapy

型別: 爬蟲

開發商: Zyte

當前狀態: 活動

使用者代理

關於Scrapy蜘蛛或者爬蟲的使用者代理字串，IP地址和伺服器，所在地等資訊如下表格所示：

使用者代理字串: Scrapy/2.11.2 (+https://scrapy.org)

首次出現: 2024-06-28 05:06:35

最後出現: 2025-01-09 08:23:21

遵循robots.txt: 未知

來源

IP地址(7)	伺服器名稱	所屬國家
185.182.232.46	185.182.232.46	DE
155.254.51.43	155.254.51.43	GB
185.214.198.228	185.214.198.228	FR
4.226.43.141	4.226.43.141	CH
35.204.148.234	234.148.204.35.bc.googleusercontent.com	NL
34.147.120.7	7.120.147.34.bc.googleusercontent.com	NL
35.204.181.133	133.181.204.35.bc.googleusercontent.com	NL

使用者代理字串: Scrapy/2.11.1 (+https://scrapy.org)

首次出現: 2024-03-19 08:46:40

最後出現: 2024-12-26 08:09:56

遵循robots.txt: 未知

來源

IP地址(10)	伺服器名稱	所屬國家
91.107.213.136	static.136.213.107.91.clients.your-server.de	DE
162.55.168.120	static.120.168.55.162.clients.your-server.de	DE
49.13.139.227	static.227.139.13.49.clients.your-server.de	DE
116.202.100.106	static.106.100.202.116.clients.your-server.de	DE
188.34.167.47	static.47.167.34.188.clients.your-server.de	DE
49.13.126.20	static.20.126.13.49.clients.your-server.de	DE
128.140.85.122	static.122.85.140.128.clients.your-server.de	DE
49.13.53.188	static.188.53.13.49.clients.your-server.de	DE
47.236.177.76	47.236.177.76	SG
51.178.26.232	vps-0cd8feaf.vps.ovh.net	FR

使用者代理字串: Scrapy/2.6.3 (+https://scrapy.org)

首次出現: 2023-08-03 18:44:39

最後出現: 2024-10-25 06:06:52

遵循robots.txt: 未知

來源

IP地址(2)	伺服器名稱	所屬國家
34.29.54.138	138.54.29.34.bc.googleusercontent.com	US
199.223.234.1	1.234.223.199.bc.googleusercontent.com	US

使用者代理字串: Scrapy/2.8.0 (+https://scrapy.org)

首次出現: 2023-02-05 22:33:02

最後出現: 2024-09-16 20:26:27

遵循robots.txt: 未知

來源

IP地址(20)	伺服器名稱	所屬國家
89.24.145.140	89-24-145-140.customers.tmcz.cz	CZ
171.221.61.96	171.221.61.96	CN
192.9.248.72	?	US
34.27.23.105	105.23.27.34.bc.googleusercontent.com	US
104.154.228.190	190.228.154.104.bc.googleusercontent.com	US
35.192.116.164	164.116.192.35.bc.googleusercontent.com	US
35.224.118.65	65.118.224.35.bc.googleusercontent.com	US
35.192.40.136	136.40.192.35.bc.googleusercontent.com	US
34.41.63.205	205.63.41.34.bc.googleusercontent.com	US
34.170.34.250	250.34.170.34.bc.googleusercontent.com	US
34.69.163.244	244.163.69.34.bc.googleusercontent.com	US
34.29.13.147	147.13.29.34.bc.googleusercontent.com	US
34.170.11.231	231.11.170.34.bc.googleusercontent.com	US
35.202.239.24	24.239.202.35.bc.googleusercontent.com	US
34.135.125.76	76.125.135.34.bc.googleusercontent.com	US
34.135.155.68	68.155.135.34.bc.googleusercontent.com	US
34.71.173.104	104.173.71.34.bc.googleusercontent.com	US
34.123.92.193	193.92.123.34.bc.googleusercontent.com	US
34.42.253.119	119.253.42.34.bc.googleusercontent.com	US
134.169.32.5	134.169.32.5	DE

使用者代理字串: Scrapy/2.0.1 (+https://scrapy.org)

首次出現: 2024-04-27 23:11:01

最後出現: 2024-05-21 03:56:46

遵循robots.txt: 未知

來源

IP地址(5)	伺服器名稱	所屬國家
138.201.57.139	static.139.57.201.138.clients.your-server.de	DE
88.99.214.242	static.242.214.99.88.clients.your-server.de	DE
5.9.90.24	static.24.90.9.5.clients.your-server.de	DE
136.243.134.82	static.82.134.243.136.clients.your-server.de	DE
148.251.133.219	static.219.133.251.148.clients.your-server.de	DE

使用者代理字串: Scrapy/2.11.0 (+https://scrapy.org)

首次出現: 2024-01-04 09:09:43

最後出現: 2024-05-16 09:11:31

遵循robots.txt: 未知

來源

IP地址(5)	伺服器名稱	所屬國家
112.49.240.214	112.49.240.214	CN
223.73.191.20	223.73.191.20	CN
222.185.36.65	222.185.36.65	CN
77.181.127.82	dynamic-077-181-127-082.77.181.pool.telefonica.de	DE
49.37.117.241	49.37.117.241	IN

使用者代理字串: Scrapy/1.7.3 (+https://scrapy.org)

首次出現: 2019-08-16 06:35:10

最後出現: 2024-03-16 08:02:20

遵循robots.txt: 未知

來源

IP地址(8)	伺服器名稱	所屬國家
154.19.200.18	154.19.200.18	US
27.224.137.106	27.224.137.106	CN
124.160.236.43	124.160.236.43	CN
78.47.48.49	?	DE
128.91.91.211	hpcc017.wharton.upenn.edu	US
128.91.88.38	hpcc032.wharton.upenn.edu	US
38.242.214.236	vmi888550.contaboserver.net	DE
38.242.214.232	vmi888549.contaboserver.net	DE

使用者代理字串: Scrapy/2.9.0 (+https://scrapy.org)

首次出現: 2023-07-08 12:50:36

最後出現: 2024-02-22 05:43:33

遵循robots.txt: 未知

來源

IP地址(5)	伺服器名稱	所屬國家
150.109.18.41	150.109.18.41	SG
54.152.101.126	ec2-54-152-101-126.compute-1.amazonaws.com	US
154.13.203.88	154.13.203.88	US
52.128.13.174	52.128.13.174	US
3.73.63.44	ec2-3-73-63-44.eu-central-1.compute.amazonaws.com	DE

使用者代理字串: Scrapy/1.7.4 (+https://scrapy.org)

首次出現: 2021-03-28 12:45:23

最後出現: 2023-09-15 03:34:15

遵循robots.txt: 未知

來源

IP地址(5)	伺服器名稱	所屬國家
95.216.173.132	static.132.173.216.95.clients.your-server.de	FI
95.216.173.189	static.189.173.216.95.clients.your-server.de	FI
65.21.253.28	static.28.253.21.65.clients.your-server.de	FI
88.99.170.66	static.66.170.99.88.clients.your-server.de	DE
116.203.206.201	static.201.206.203.116.clients.your-server.de	DE

使用者代理字串: Scrapy/2.10.0 (+https://scrapy.org)

首次出現: 2023-08-27 17:31:21

最後出現: 2023-08-27 17:31:21

遵循robots.txt: 未知

來源

IP地址(1)	伺服器名稱	所屬國家
176.42.28.173	176.42.28.173	TR

使用者代理字串: Scrapy/2.6.1 (+https://scrapy.org)

首次出現: 2022-03-26 07:45:49

最後出現: 2023-04-11 07:34:22

遵循robots.txt: 未知

來源

IP地址(8)	伺服器名稱	所屬國家
23.247.47.198	23.247.47.198	US
104.154.180.126	126.180.154.104.bc.googleusercontent.com	US
173.212.239.43	173.212.239.43	DE
95.216.46.199	static.199.46.216.95.clients.your-server.de	FI
45.9.88.123	45.9.88.123	RU
37.35.43.58	37.35.43.58	IT
154.194.8.121	154.194.8.121	FR
52.72.8.185	ec2-52-72-8-185.compute-1.amazonaws.com	US

使用者代理字串: Scrapy/2.6.2 (+https://scrapy.org)

首次出現: 2023-01-22 19:28:46

最後出現: 2023-03-26 23:16:58

遵循robots.txt: 未知

來源

IP地址(2)	伺服器名稱	所屬國家
61.135.204.194	61.135.204.194	CN
46.2.14.184	?	TR

使用者代理字串: Scrapy/2.7.1 (+https://scrapy.org)

首次出現: 2023-01-29 23:30:42

最後出現: 2023-02-02 13:18:10

遵循robots.txt: 未知

來源

IP地址(2)	伺服器名稱	所屬國家
90.154.10.130	90.154.10.130	RU
79.110.55.10	79.110.55.10	KR

使用者代理字串: Scrapy/2.4.1 (+https://scrapy.org)

首次出現: 2021-03-25 04:33:03

最後出現: 2022-10-20 07:16:34

遵循robots.txt: 未知

來源

IP地址(4)	伺服器名稱	所屬國家
52.72.8.185	ec2-52-72-8-185.compute-1.amazonaws.com	US
142.255.86.85	cpe-142-255-86-85.nyc.res.rr.com	US
175.102.16.34	175.102.16.34	CN
183.253.10.84	183.253.10.84	CN

使用者代理字串: Scrapy/2.5.1 (+https://scrapy.org),gzip(gfe)

首次出現: 2022-10-17 10:38:17

最後出現: 2022-10-17 10:38:17

遵循robots.txt: 未知

來源

IP地址(1)	伺服器名稱	所屬國家
118.166.228.227	118-166-228-227.dynamic-ip.hinet.net	TW
88.99.214.242	static.242.214.99.88.clients.your-server.de	DE
194.15.127.107	194.15.127.107	RU
45.9.88.123	45.9.88.123	RU
3.123.200.64	ec2-3-123-200-64.eu-central-1.compute.amazonaws.com	DE
62.76.155.21	62.76.155.21	RU
52.72.8.185	ec2-52-72-8-185.compute-1.amazonaws.com	US
14.139.127.131	14.139.127.131	IN
176.103.91.127	176.103.91.127	RU
34.85.151.35	35.151.85.34.bc.googleusercontent.com	US
66.249.81.109	google-proxy-66-249-81-109.google.com	US
193.232.205.105	193.232.205.105	RU
212.193.168.225	212.193.168.225	RU
62.76.7.12	62.76.7.12	RU
45.147.0.40	45.147.0.40	RU
62.76.155.146	62.76.155.146	RU
45.139.126.183	45.139.126.183	RU
45.139.55.19	45.139.55.19	RU
94.158.189.159	94.158.189.159	SC
194.226.123.223	194.226.123.223	RU
45.146.168.134	45.146.168.134	RU
45.130.144.233	45.130.144.233	RU
195.19.169.199	195.19.169.199	RU
45.153.52.77	45.153.52.77	RU
45.154.163.170	45.154.163.170	RU
77.83.80.207	77.83.80.207	RU
212.193.187.8	212.193.187.8	RU
45.142.73.232	45.142.73.232	RU
193.232.204.171	193.232.204.171	RU
85.142.42.20	85.142.42.20	RU
84.54.29.239	84.54.29.239	RU
212.193.184.172	212.193.184.172	RU

使用者代理字串: Scrapy/1.1.3 (+http://scrapy.org)

首次出現: 2018-03-10 17:09:30

最後出現: 2022-08-29 20:04:55

遵循robots.txt: 未知

來源

IP地址(8)	伺服器名稱	所屬國家
88.99.0.174	static.174.0.99.88.clients.your-server.de	DE
148.251.144.116	static.116.144.251.148.clients.your-server.de	DE
46.4.114.158	static.158.114.4.46.clients.your-server.de	DE
116.202.83.62	?	DE
88.99.164.194	?	DE
138.201.34.140	?	DE
195.201.85.124	?	DE
138.201.36.40	?	DE

使用者代理字串: Scrapy/1.5.1 (+https://scrapy.org)

首次出現: 2018-09-05 13:34:29

最後出現: 2021-12-09 04:54:59

遵循robots.txt: 未知

來源

IP地址(21)	伺服器名稱	所屬國家
13.56.111.204	ec2-13-56-111-204.us-west-1.compute.amazonaws.com	US
54.172.91.236	ec2-54-172-91-236.compute-1.amazonaws.com	US
121.156.47.204	?	KR
195.3.144.210	colo-200.altnet.lv	LV
189.120.120.204	bd7878cc.virtua.com.br	BR
195.3.144.185	colo-185.altnet.lv	LV
83.137.2.249	?	GB
78.145.209.112	host-78-145-209-112.as13285.net	GB
208.110.66.34	?	US
188.92.74.189	?	LV

使用者代理字串: Scrapy/2.5.0 (+https://scrapy.org)

首次出現: 2021-08-10 20:54:06

最後出現: 2021-11-24 23:39:36

遵循robots.txt: 未知

來源

IP地址(3)	伺服器名稱	所屬國家
185.58.206.67	ih2083552.ihor-dedic.ru	RU
137.184.96.247	137.184.96.247	US
35.223.102.40	40.102.223.35.bc.googleusercontent.com	US

使用者代理字串: Scrapy/1.5.0 (+https://scrapy.org)

首次出現: 2018-01-15 20:38:07

最後出現: 2021-07-29 22:13:37

遵循robots.txt: 否

來源

IP地址(27)	伺服器名稱	所屬國家
100.25.46.189	ec2-100-25-46-189.compute-1.amazonaws.com	US
54.152.77.31	ec2-54-152-77-31.compute-1.amazonaws.com	US
52.86.112.146	ec2-52-86-112-146.compute-1.amazonaws.com	US
13.56.179.125	ec2-13-56-179-125.us-west-1.compute.amazonaws.com	US
104.144.97.164	?	US
52.193.88.113	ec2-52-193-88-113.ap-northeast-1.compute.amazonaws.com	JP
34.232.52.147	ec2-34-232-52-147.compute-1.amazonaws.com	US
121.156.47.204	?	KR
35.193.175.92	?	US
54.236.48.97	ec2-54-236-48-97.compute-1.amazonaws.com	US

使用者代理字串: Scrapy/2.2.1 (+https://scrapy.org)

首次出現: 2021-01-28 17:17:23

最後出現: 2021-01-28 17:17:23

遵循robots.txt: 未知

來源

IP地址(2)	伺服器名稱	所屬國家
34.76.170.167	167.170.76.34.bc.googleusercontent.com	US
34.76.224.176	176.224.76.34.bc.googleusercontent.com	US

使用者代理字串: Scrapy/2.3.0 (+https://scrapy.org)

首次出現: 2020-11-07 05:39:00

最後出現: 2021-01-04 07:55:09

遵循robots.txt: 未知

來源

IP地址(2)	伺服器名稱	所屬國家
2a01:4f9:c010:eaec::1	2a01:4f9:c010:eaec::1	DE
51.15.119.74	74-119-15-51.instances.scw.cloud	FR

使用者代理字串: Scrapy/1.8.0 (+https://scrapy.org)

首次出現: 2019-11-11 05:12:58

最後出現: 2021-01-03 04:29:13

遵循robots.txt: 未知

來源

IP地址(7)	伺服器名稱	所屬國家
107.178.236.15	15.236.178.107.gae.googleusercontent.com	US
35.202.86.46	46.86.202.35.bc.googleusercontent.com	US
47.89.225.105	?	US
160.114.55.188	rgai3.inf.u-szeged.hu	HU
123.25.21.157	mail.soft365.com.vn	VN
14.238.15.74	static.vnpt.vn	VN
47.90.241.157	47.90.241.157	US

使用者代理字串: Scrapy/1.6.0 (+https://scrapy.org)

首次出現: 2019-02-04 21:58:11

最後出現: 2020-10-19 13:26:38

遵循robots.txt: 未知

來源

IP地址(62)	伺服器名稱	所屬國家
138.201.35.152	static.152.35.201.138.clients.your-server.de	DE
138.201.36.40	static.40.36.201.138.clients.your-server.de	DE
80.211.112.51	host51-112-211-80.serverdedicati.aruba.it	IT
39.100.157.53	?	CN
39.100.156.45	?	CN
93.137.135.119	93-137-135-119.adsl.net.t-com.hr	HR
47.92.141.136	?	CN
39.100.121.198	?	CN
47.92.96.33	?	CN
39.100.156.237	?	CN

使用者代理字串: Scrapy/2.2.0 (+https://scrapy.org)

首次出現: 2020-07-06 11:04:52

最後出現: 2020-07-06 11:12:46

遵循robots.txt: 未知

來源

IP地址(1)	伺服器名稱	所屬國家
185.153.151.34	185.153.151.34	LU

使用者代理字串: Scrapy/2.1.0 (+https://scrapy.org)

首次出現: 2020-07-01 14:16:52

最後出現: 2020-07-01 14:52:14

遵循robots.txt: 未知

來源

IP地址(1)	伺服器名稱	所屬國家
82.102.19.196	ncopus196.niliny.pw	BE

使用者代理字串: Scrapy/1.7.2 (+https://scrapy.org)

首次出現: 2019-10-17 16:38:47

最後出現: 2020-06-25 04:38:18

遵循robots.txt: 未知

來源

IP地址(2)	伺服器名稱	所屬國家
176.74.192.99	hbase7.domaincrawler.com	SE
176.74.199.2	?	SE

使用者代理字串: Scrapy/1.4.0 (+http://scrapy.org)

首次出現: 2017-07-28 16:43:00

最後出現: 2020-01-13 13:16:28

遵循robots.txt: 否

來源

IP地址(51)	伺服器名稱	所屬國家
36.226.224.37	36-226-224-37.dynamic-ip.hinet.net	TW
36.227.109.231	36-227-109-231.dynamic-ip.hinet.net	TW
36.224.51.7	36-224-51-7.dynamic-ip.hinet.net	TW
36.226.231.20	36-226-231-20.dynamic-ip.hinet.net	TW
36.228.229.79	36-228-229-79.dynamic-ip.hinet.net	TW
36.228.229.94	36-228-229-94.dynamic-ip.hinet.net	TW
36.226.224.54	36-226-224-54.dynamic-ip.hinet.net	TW
36.228.225.171	36-228-225-171.dynamic-ip.hinet.net	TW
36.228.224.131	36-228-224-131.dynamic-ip.hinet.net	TW
36.226.230.208	36-226-230-208.dynamic-ip.hinet.net	TW

使用者代理字串: Scrapy/1.0.5 (+http://scrapy.org)

首次出現: 2016-02-12 15:26:00

最後出現: 2019-12-30 08:01:46

遵循robots.txt: 否

來源

IP地址(12)	伺服器名稱	所屬國家
136.243.11.22	?	DE
78.46.88.202	?	DE
136.243.76.224	?	DE
58.246.174.26	?	CN
52.198.176.249	ec2-52-198-176-249.ap-northeast-1.compute.amazonaws.com	JP
52.196.217.192	ec2-52-196-217-192.ap-northeast-1.compute.amazonaws.com	JP
52.201.250.99	ec2-52-201-250-99.compute-1.amazonaws.com	US
52.68.41.151	ec2-52-68-41-151.ap-northeast-1.compute.amazonaws.com	JP
164.132.160.129	ns3035942.ip-164-132-160.eu	FR
93.186.148.94	93.186.148.94-ifnl.net	GB

使用者代理字串: Scrapy/1.7.1 (+https://scrapy.org)

首次出現: 2019-08-06 08:42:08

最後出現: 2019-08-27 11:30:05

遵循robots.txt: 未知

來源

IP地址(2)	伺服器名稱	所屬國家
147.92.33.234	147.92.33.234	HK
8.44.182.23	?	US

使用者代理字串: Scrapy/1.5.2 (+https://scrapy.org)

首次出現: 2019-02-03 19:06:16

最後出現: 2019-07-07 06:18:17

遵循robots.txt: 未知

來源

IP地址(3)	伺服器名稱	所屬國家
130.203.136.75	?	US
185.47.220.131	?	CZ
188.175.125.148	188.175.125.148	CZ

使用者代理字串: Scrapy/1.0.3 (+http://scrapy.org)

首次出現: 2015-12-14 08:00:00

最後出現: 2018-05-11 07:16:04

遵循robots.txt: 否

來源

IP地址(21)	伺服器名稱	所屬國家
54.160.194.98	ec2-54-160-194-98.compute-1.amazonaws.com	US
61.164.42.140	?	CN
139.59.29.77	?	IN
52.88.187.57	ec2-52-88-187-57.us-west-2.compute.amazonaws.com	US
108.61.242.65	108.61.242.65.vultr.com	US
46.166.188.231	?	NL
52.40.148.43	ec2-52-40-148-43.us-west-2.compute.amazonaws.com	US
54.69.99.109	ec2-54-69-99-109.us-west-2.compute.amazonaws.com	US
108.83.93.215	108-83-93-215.lightspeed.wepbfl.sbcglobal.net	US
108.61.205.28	108.61.205.28.vultr.com	US

使用者代理字串: Scrapy/1.3.0 (+http://scrapy.org)

首次出現: 2017-01-30 01:37:54

最後出現: 2018-04-27 06:46:07

遵循robots.txt: 未知

來源

IP地址(5)	伺服器名稱	所屬國家
13.57.36.202	ec2-13-57-36-202.us-west-1.compute.amazonaws.com	US
104.218.141.98	?	US
23.106.83.199	?	US
23.81.67.216	?	US
136.243.66.162	?	DE

使用者代理字串: Scrapy/1.1.2 (+http://scrapy.org)

首次出現: 2016-09-10 01:45:54

最後出現: 2018-03-19 11:01:04

遵循robots.txt: 未知

來源

IP地址(8)	伺服器名稱	所屬國家
13.113.121.129	ec2-13-113-121-129.ap-northeast-1.compute.amazonaws.com	JP
52.197.188.46	ec2-52-197-188-46.ap-northeast-1.compute.amazonaws.com	JP
52.68.219.226	ec2-52-68-219-226.ap-northeast-1.compute.amazonaws.com	JP
13.113.12.64	ec2-13-113-12-64.ap-northeast-1.compute.amazonaws.com	JP
52.199.78.154	ec2-52-199-78-154.ap-northeast-1.compute.amazonaws.com	JP
52.199.104.67	ec2-52-199-104-67.ap-northeast-1.compute.amazonaws.com	JP
52.43.49.188	ec2-52-43-49-188.us-west-2.compute.amazonaws.com	US
52.25.226.122	ec2-52-25-226-122.us-west-2.compute.amazonaws.com	US

使用者代理字串: Scrapy/1.3.2 (+http://scrapy.org)

首次出現: 2017-12-20 10:34:45

最後出現: 2017-12-20 10:34:45

遵循robots.txt: 未知

來源

IP地址(1)	伺服器名稱	所屬國家
111.200.195.186	111.200.195.186	CN

使用者代理字串: Scrapy/1.3.3 (+http://scrapy.org)

首次出現: 2017-02-08 11:05:24

最後出現: 2017-11-07 09:12:10

遵循robots.txt: 未知

來源

IP地址(8)	伺服器名稱	所屬國家
13.114.207.110	ec2-13-114-207-110.ap-northeast-1.compute.amazonaws.com	JP
52.196.202.55	ec2-52-196-202-55.ap-northeast-1.compute.amazonaws.com	JP
34.208.16.193	ec2-34-208-16-193.us-west-2.compute.amazonaws.com	US
107.23.10.123	ec2-107-23-10-123.compute-1.amazonaws.com	US
54.167.210.113	ec2-54-167-210-113.compute-1.amazonaws.com	US
176.27.243.42	b01bf32a.bb.sky.com	GB
124.72.95.10	?	CN
45.33.43.32	li993-32.members.linode.com	US

使用者代理字串: Scrapy/0.16.5 (+http://scrapy.org)

首次出現: 2016-08-18 20:17:35

最後出現: 2017-08-16 09:26:14

遵循robots.txt: 未知

來源

IP地址(2)	伺服器名稱	所屬國家
98.100.180.20	rrcs-98-100-180-20.central.biz.rr.com	US
67.53.77.196	rrcs-67-53-77-196.west.biz.rr.com	US

使用者代理字串: Scrapy/0.24.5 (+http://scrapy.org)

首次出現: 2014-12-19 09:53:17

最後出現: 2017-04-14 00:30:33

遵循robots.txt: 未知

來源

IP地址(5)	伺服器名稱	所屬國家
52.197.129.56	ec2-52-197-129-56.ap-northeast-1.compute.amazonaws.com	JP
52.69.69.138	ec2-52-69-69-138.ap-northeast-1.compute.amazonaws.com	JP
52.192.241.191	ec2-52-192-241-191.ap-northeast-1.compute.amazonaws.com	JP
107.23.56.124	ec2-107-23-56-124.compute-1.amazonaws.com	US
52.69.82.104	ec2-52-69-82-104.ap-northeast-1.compute.amazonaws.com	JP

使用者代理字串: Scrapy/1.2.2 (+http://scrapy.org)

首次出現: 2017-01-12 23:59:17

最後出現: 2017-03-26 23:59:17

遵循robots.txt: 未知

來源

IP地址(1)	伺服器名稱	所屬國家
52.200.30.172	ec2-52-200-30-172.compute-1.amazonaws.com	US

使用者代理字串: Scrapy/1.0.5.post4+g4b324a8 (+http://scrapy.org)

首次出現: 2017-01-07 23:32:39

最後出現: 2017-01-07 23:32:39

遵循robots.txt: 未知

來源

IP地址(1)	伺服器名稱	所屬國家
98.126.65.56	?	US

使用者代理字串: Scrapy/1.2.1 (+http://scrapy.org)

首次出現: 2016-11-09 23:25:03

最後出現: 2016-12-13 16:37:29

遵循robots.txt: 未知

來源

IP地址(3)	伺服器名稱	所屬國家
5.230.153.214	?	GB
178.18.151.162	?	CZ
54.213.151.77	ec2-54-213-151-77.us-west-2.compute.amazonaws.com	US

使用者代理字串: Scrapy/1.1.1 (+http://scrapy.org)

首次出現: 2016-09-11 07:43:33

最後出現: 2016-12-04 14:34:58

遵循robots.txt: 否

來源

IP地址(3)	伺服器名稱	所屬國家
138.201.52.218	?	DE
134.96.225.227	colossus02.cs.uni-saarland.de	DE
192.240.14.1	host01.fna.fujitsu.com	US

使用者代理字串: Scrapy/1.1.0 (+http://scrapy.org)

首次出現: 2016-06-12 20:00:00

最後出現: 2016-09-01 16:03:46

遵循robots.txt: 否

來源

IP地址(4)	伺服器名稱	所屬國家
138.201.57.140	?	DE
148.251.133.219	?	DE
192.240.14.1	host01.fna.fujitsu.com	US
92.249.223.121	92-249-223-121.pool.digikabel.hu	HU

使用者代理字串: Scrapy/1.0.4 (+http://scrapy.org)

首次出現: 2016-01-27 06:10:00

最後出現: 2016-02-19 11:08:30

遵循robots.txt: 未知

來源

IP地址(2)	伺服器名稱	所屬國家
103.14.245.38	103.14.245.38	SG
219.92.50.109	gbk-50-109.tm.net.my	MY

使用者代理字串: Scrapy/1.0.1 (+http://scrapy.org)

首次出現: 2015-02-07 05:07:09

最後出現: 2016-02-10 14:16:41

遵循robots.txt: 未知

來源

IP地址(3)	伺服器名稱	所屬國家
194.150.168.95	kaputte.li	DE
46.105.110.61	ns3435966.ip-46-105-110.eu	FR
158.69.26.33	ns517020.ip-158-69-26.net	CA

使用者代理字串: Scrapy/0.24.0 (+http://scrapy.org)

首次出現: 2014-08-08 09:15:00

最後出現: 2015-12-05 09:29:21

遵循robots.txt: 未知

來源

IP地址(2)	伺服器名稱	所屬國家
114.212.190.201	cs-cloud.nju.edu.cn	CN
54.72.183.135	ec2-54-72-183-135.eu-west-1.compute.amazonaws.com	US

使用者代理字串: Scrapy/0.24.6 (+http://scrapy.org)

首次出現: 2015-08-19 21:13:23

最後出現: 2015-08-19 21:13:23

遵循robots.txt: 未知

來源

IP地址(1)	伺服器名稱	所屬國家
188.40.45.131	?	DE

使用者代理字串: Scrapy/0.25.1 (+http://scrapy.org)

首次出現: 2015-04-08 18:52:07

最後出現: 2015-04-08 18:52:08

遵循robots.txt: 未知

來源

IP地址(1)	伺服器名稱	所屬國家
69.124.113.52	ool-457c7134.dyn.optonline.net	US

使用者代理字串: Scrapy/0.24.4 (+http://scrapy.org)

首次出現: 2015-12-01 07:19:29

最後出現: 2014-12-10 23:03:17

遵循robots.txt: 未知

來源

IP地址(2)	伺服器名稱	所屬國家
97.74.4.58	ip-97-74-4-58.ip.secureserver.net	US
54.72.183.135	ec2-54-72-183-135.eu-west-1.compute.amazonaws.com	IE

使用者代理字串: Scrapy/0.22.2 (+http://scrapy.org)

首次出現: 2014-02-18 10:40:06

最後出現: 2014-06-18 20:56:00

遵循robots.txt: 未知

來源

IP地址(2)	伺服器名稱	所屬國家
201.204.48.114	201.204.48.114	CR
64.53.192.27	d53-64-27-192.nap.wideopenwest.com	US

訪問控制

瞭解如何控制Scrapy訪問許可權，避免Scrapy抓取行為不當。

是否攔截Scrapy？

可以考慮攔截。。爬蟲通常會下載公開的網際網路內容，這些內容預設情況下可以免費訪問。不過，如果你不希望你的內容被用於未經授權的目的，你應該攔截它們。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Scrapy 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。

# robots.txt

# 下列程式碼一般情況可以攔截該代理

User-agent: Scrapy

Disallow: /

# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: Scrapy Disallow: /

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: Scrapy
Disallow: /

您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

站長工具

我們為站長量身定做的高效工具集。

檢視全部工具

常見蜘蛛/爬蟲

Common Spiders

xfa1

xfa1蜘蛛/爬蟲屬於爬蟲型別，由Unknown Author開發執行。您可以繼續閱讀下方資訊，以深入瞭解xfa1基本資訊，使用者代理和訪問控制等。

MassScanner

MassScanner蜘蛛/爬蟲屬於爬蟲型別，由Unknown Author開發執行。您可以繼續閱讀下方資訊，以深入瞭解MassScanner基本資訊，使用者代理和訪問控制等。

robots-bulk-crawler

robots-bulk-crawler蜘蛛/爬蟲屬於爬蟲型別，由Unknown Author開發執行。您可以繼續閱讀下方資訊，以深入瞭解robots-bulk-crawler基本資訊，使用者代理和訪問控制等。

studyBot

studyBot蜘蛛/爬蟲屬於爬蟲型別，由Unknown Author開發執行。您可以繼續閱讀下方資訊，以深入瞭解studyBot基本資訊，使用者代理和訪問控制等。

AASA-Bot

AASA-Bot蜘蛛/爬蟲屬於爬蟲型別，由Unknown Author開發執行。您可以繼續閱讀下方資訊，以深入瞭解AASA-Bot基本資訊，使用者代理和訪問控制等。

Tranco Crawler

Tranco Crawler蜘蛛/爬蟲屬於爬蟲型別，由Unknown Author開發執行。您可以繼續閱讀下方資訊，以深入瞭解Tranco Crawler基本資訊，使用者代理和訪問控制等。

CoreBot

CoreBot蜘蛛/爬蟲屬於爬蟲型別，由Unknown Author開發執行。您可以繼續閱讀下方資訊，以深入瞭解CoreBot基本資訊，使用者代理和訪問控制等。

LMCSearchBot

LMCSearchBot蜘蛛/爬蟲屬於爬蟲型別，由Unknown Author開發執行。您可以繼續閱讀下方資訊，以深入瞭解LMCSearchBot基本資訊，使用者代理和訪問控制等。

如何做搜尋引擎蜘蛛日誌分析

搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案，分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點，及檢視搜尋引擎蜘蛛在一段時間內的行為。

什麼是抓取預算（Crawl Budget）及如何最大化其利用價值

抓取預算（Crawl Budget），您又可以將之稱為抓取頻率、抓取量。這個量一般是由搜尋引擎蜘蛛根據網站的質量度和權重給域名分配的。理解抓取預算的定義，重要性及最大化其效率，這有利於網站的索引、排名。

怎樣才算有利於SEO的網站結構

眾所周知，扁平且層級不超過三級的網站結構是最有利於搜尋引擎蜘蛛爬取的。顯淺的一句看似易懂但如深入，又未必是那麼容易理解。下面我們將深入瞭解網站結構的定義，重要性及實踐，以便於各位技術開發、站長和SEOer在未來的網站開發及運營中應用。

為什麼要控制Googlebot抓取速度？

在本文中，我們將瞭解您為什麼要控制Googlebot以及如何控制Googlebot和其他搜尋引擎爬蟲的抓取速度。

如何攔截Google和Bing訪問您的網站？

在本文中，我們將解釋如何遮蔽Googlebot和Bingbot，遮蔽爬蟲後會發生什麼以及出現爬取問題的常見原因。

Bing網站管理員工具Bingbot網站爬取頻率設定

Bing網站管理員工具中的爬網空間功能允許網站管理員控制Bingbot抓取您的網站的速率。當您的網站上有訪問者以適當地管理頻寬時，需要進行爬網控制以限制Bingbot和Googlebot等搜尋引擎蜘蛛的活動。

WordPress攔截IP地址的6種方法

當網站規模擴大時，您需要採取某些措施來限制來自評論垃圾郵件傳送者、無效機器人和人類攻擊者的流量。這對於保護您的伺服器資源可用於真實使用者以及您支付託管費用以獲得真實訪問者至關重要。在本文中，我們將解釋在WordPress中攔截IP地址的6種方法。

如何禁止搜尋引擎索引WordPress網站

您可能想要隱藏站點上的內容的原因有很多，但依靠“建議搜尋引擎不索引本站點”選項並不是確保此類內容不被看到的最佳方法。除非您想在網路上隱藏您的整個網站，否則永遠不要單擊此選項，因為如果不小心切換，它會對您的SEO造成巨大損害。

Scrapy

基本資訊

使用者代理

訪問控制

是否攔截Scrapy？

通過Robots.txt攔截

更多資訊

站長工具

常見蜘蛛/爬蟲

相關文章