註冊
简体
> 工具>蜘蛛查詢工具

Scrapy

Scrapy蜘蛛/爬蟲屬於爬蟲型別，由Zyte開發執行。您可以繼續閱讀下方資訊，以深入瞭解Scrapy基本資訊，使用者代理和訪問控制等。

基本資訊

Scrapy的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲，可能存在資訊不明的情況。
蜘蛛/爬蟲名稱
Scrapy
型別
爬蟲
開發商
Zyte
當前狀態
活動

使用者代理

關於Scrapy蜘蛛或者爬蟲的使用者代理字串，IP地址和伺服器，所在地等資訊如下表格所示：
Scrapy/2.11.2
  • Scrapy/2.11.2
  • Scrapy/2.11.1
  • Scrapy/2.6.3
  • Scrapy/2.8.0
  • Scrapy/2.0.1
  • Scrapy/2.11.0
  • Scrapy/1.7.3
  • Scrapy/2.9.0
  • Scrapy/1.7.4
  • Scrapy/2.10.0
  • Scrapy/2.6.1
  • Scrapy/2.6.2
  • Scrapy/2.7.1
  • Scrapy/2.4.1
  • Scrapy/2.5.1
  • Scrapy/1.1.3
  • Scrapy/1.5.1
  • Scrapy/2.5.0
  • Scrapy/1.5.0
  • Scrapy/2.2.1
  • Scrapy/2.3.0
  • Scrapy/1.8.0
  • Scrapy/1.6.0
  • Scrapy/2.2.0
  • Scrapy/2.1.0
  • Scrapy/1.7.2
  • Scrapy/1.4.0
  • Scrapy/1.0.5
  • Scrapy/1.7.1
  • Scrapy/1.5.2
  • Scrapy/1.0.3
  • Scrapy/1.3.0
  • Scrapy/1.1.2
  • Scrapy/1.3.2
  • Scrapy/1.3.3
  • Scrapy/0.16.5
  • Scrapy/0.24.5
  • Scrapy/1.2.2
  • Scrapy/1.0.5.post4
  • Scrapy/1.2.1
  • Scrapy/1.1.1
  • Scrapy/1.1.0
  • Scrapy/1.0.4
  • Scrapy/1.0.1
  • Scrapy/0.24.0
  • Scrapy/0.24.6
  • Scrapy/0.25.1
  • Scrapy/0.24.4
  • Scrapy/0.22.0
使用者代理字串
Scrapy/2.11.2 (+https://scrapy.org)
首次出現
2024-06-28 05:06:35
最後出現
2025-01-09 08:23:21
遵循robots.txt
未知
來源
IP地址(7) 伺服器名稱 所屬國家
185.182.232.46 185.182.232.46 DE
155.254.51.43 155.254.51.43 GB
185.214.198.228 185.214.198.228 FR
4.226.43.141 4.226.43.141 CH
35.204.148.234 234.148.204.35.bc.googleusercontent.com NL
使用者代理字串
Scrapy/2.11.1 (+https://scrapy.org)
首次出現
2024-03-19 08:46:40
最後出現
2024-12-26 08:09:56
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
91.107.213.136 static.136.213.107.91.clients.your-server.de DE
162.55.168.120 static.120.168.55.162.clients.your-server.de DE
49.13.139.227 static.227.139.13.49.clients.your-server.de DE
116.202.100.106 static.106.100.202.116.clients.your-server.de DE
188.34.167.47 static.47.167.34.188.clients.your-server.de DE
使用者代理字串
Scrapy/2.6.3 (+https://scrapy.org)
首次出現
2023-08-03 18:44:39
最後出現
2024-10-25 06:06:52
遵循robots.txt
未知
來源
IP地址(2) 伺服器名稱 所屬國家
34.29.54.138 138.54.29.34.bc.googleusercontent.com US
199.223.234.1 1.234.223.199.bc.googleusercontent.com US
使用者代理字串
Scrapy/2.8.0 (+https://scrapy.org)
首次出現
2023-02-05 22:33:02
最後出現
2024-09-16 20:26:27
遵循robots.txt
未知
來源
IP地址(20) 伺服器名稱 所屬國家
89.24.145.140 89-24-145-140.customers.tmcz.cz CZ
171.221.61.96 171.221.61.96 CN
192.9.248.72 ? US
34.27.23.105 105.23.27.34.bc.googleusercontent.com US
104.154.228.190 190.228.154.104.bc.googleusercontent.com US
使用者代理字串
Scrapy/2.0.1 (+https://scrapy.org)
首次出現
2024-04-27 23:11:01
最後出現
2024-05-21 03:56:46
遵循robots.txt
未知
來源
IP地址(5) 伺服器名稱 所屬國家
138.201.57.139 static.139.57.201.138.clients.your-server.de DE
88.99.214.242 static.242.214.99.88.clients.your-server.de DE
5.9.90.24 static.24.90.9.5.clients.your-server.de DE
136.243.134.82 static.82.134.243.136.clients.your-server.de DE
148.251.133.219 static.219.133.251.148.clients.your-server.de DE
使用者代理字串
Scrapy/2.11.0 (+https://scrapy.org)
首次出現
2024-01-04 09:09:43
最後出現
2024-05-16 09:11:31
遵循robots.txt
未知
來源
IP地址(5) 伺服器名稱 所屬國家
112.49.240.214 112.49.240.214 CN
223.73.191.20 223.73.191.20 CN
222.185.36.65 222.185.36.65 CN
77.181.127.82 dynamic-077-181-127-082.77.181.pool.telefonica.de DE
49.37.117.241 49.37.117.241 IN
使用者代理字串
Scrapy/1.7.3 (+https://scrapy.org)
首次出現
2019-08-16 06:35:10
最後出現
2024-03-16 08:02:20
遵循robots.txt
未知
來源
IP地址(8) 伺服器名稱 所屬國家
154.19.200.18 154.19.200.18 US
27.224.137.106 27.224.137.106 CN
124.160.236.43 124.160.236.43 CN
78.47.48.49 ? DE
128.91.91.211 hpcc017.wharton.upenn.edu US
使用者代理字串
Scrapy/2.9.0 (+https://scrapy.org)
首次出現
2023-07-08 12:50:36
最後出現
2024-02-22 05:43:33
遵循robots.txt
未知
來源
IP地址(5) 伺服器名稱 所屬國家
150.109.18.41 150.109.18.41 SG
54.152.101.126 ec2-54-152-101-126.compute-1.amazonaws.com US
154.13.203.88 154.13.203.88 US
52.128.13.174 52.128.13.174 US
3.73.63.44 ec2-3-73-63-44.eu-central-1.compute.amazonaws.com DE
使用者代理字串
Scrapy/1.7.4 (+https://scrapy.org)
首次出現
2021-03-28 12:45:23
最後出現
2023-09-15 03:34:15
遵循robots.txt
未知
來源
IP地址(5) 伺服器名稱 所屬國家
95.216.173.132 static.132.173.216.95.clients.your-server.de FI
95.216.173.189 static.189.173.216.95.clients.your-server.de FI
65.21.253.28 static.28.253.21.65.clients.your-server.de FI
88.99.170.66 static.66.170.99.88.clients.your-server.de DE
116.203.206.201 static.201.206.203.116.clients.your-server.de DE
使用者代理字串
Scrapy/2.10.0 (+https://scrapy.org)
首次出現
2023-08-27 17:31:21
最後出現
2023-08-27 17:31:21
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
176.42.28.173 176.42.28.173 TR
使用者代理字串
Scrapy/2.6.1 (+https://scrapy.org)
首次出現
2022-03-26 07:45:49
最後出現
2023-04-11 07:34:22
遵循robots.txt
未知
來源
IP地址(8) 伺服器名稱 所屬國家
23.247.47.198 23.247.47.198 US
104.154.180.126 126.180.154.104.bc.googleusercontent.com US
173.212.239.43 173.212.239.43 DE
95.216.46.199 static.199.46.216.95.clients.your-server.de FI
45.9.88.123 45.9.88.123 RU
使用者代理字串
Scrapy/2.6.2 (+https://scrapy.org)
首次出現
2023-01-22 19:28:46
最後出現
2023-03-26 23:16:58
遵循robots.txt
未知
來源
IP地址(2) 伺服器名稱 所屬國家
61.135.204.194 61.135.204.194 CN
46.2.14.184 ? TR
使用者代理字串
Scrapy/2.7.1 (+https://scrapy.org)
首次出現
2023-01-29 23:30:42
最後出現
2023-02-02 13:18:10
遵循robots.txt
未知
來源
IP地址(2) 伺服器名稱 所屬國家
90.154.10.130 90.154.10.130 RU
79.110.55.10 79.110.55.10 KR
使用者代理字串
Scrapy/2.4.1 (+https://scrapy.org)
首次出現
2021-03-25 04:33:03
最後出現
2022-10-20 07:16:34
遵循robots.txt
未知
來源
IP地址(4) 伺服器名稱 所屬國家
52.72.8.185 ec2-52-72-8-185.compute-1.amazonaws.com US
142.255.86.85 cpe-142-255-86-85.nyc.res.rr.com US
175.102.16.34 175.102.16.34 CN
183.253.10.84 183.253.10.84 CN
使用者代理字串
Scrapy/2.5.1 (+https://scrapy.org),gzip(gfe)
首次出現
2022-10-17 10:38:17
最後出現
2022-10-17 10:38:17
遵循robots.txt
未知
來源
IP地址(32) 伺服器名稱 所屬國家
118.166.228.227 118-166-228-227.dynamic-ip.hinet.net TW
88.99.214.242 static.242.214.99.88.clients.your-server.de DE
194.15.127.107 194.15.127.107 RU
45.9.88.123 45.9.88.123 RU
3.123.200.64 ec2-3-123-200-64.eu-central-1.compute.amazonaws.com DE
使用者代理字串
Scrapy/1.1.3 (+http://scrapy.org)
首次出現
2018-03-10 17:09:30
最後出現
2022-08-29 20:04:55
遵循robots.txt
未知
來源
IP地址(8) 伺服器名稱 所屬國家
88.99.0.174 static.174.0.99.88.clients.your-server.de DE
148.251.144.116 static.116.144.251.148.clients.your-server.de DE
46.4.114.158 static.158.114.4.46.clients.your-server.de DE
116.202.83.62 ? DE
88.99.164.194 ? DE
使用者代理字串
Scrapy/1.5.1 (+https://scrapy.org)
首次出現
2018-09-05 13:34:29
最後出現
2021-12-09 04:54:59
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
13.56.111.204 ec2-13-56-111-204.us-west-1.compute.amazonaws.com US
54.172.91.236 ec2-54-172-91-236.compute-1.amazonaws.com US
121.156.47.204 ? KR
195.3.144.210 colo-200.altnet.lv LV
189.120.120.204 bd7878cc.virtua.com.br BR
使用者代理字串
Scrapy/2.5.0 (+https://scrapy.org)
首次出現
2021-08-10 20:54:06
最後出現
2021-11-24 23:39:36
遵循robots.txt
未知
來源
IP地址(3) 伺服器名稱 所屬國家
185.58.206.67 ih2083552.ihor-dedic.ru RU
137.184.96.247 137.184.96.247 US
35.223.102.40 40.102.223.35.bc.googleusercontent.com US
使用者代理字串
Scrapy/1.5.0 (+https://scrapy.org)
首次出現
2018-01-15 20:38:07
最後出現
2021-07-29 22:13:37
遵循robots.txt
否
來源
IP地址(10) 伺服器名稱 所屬國家
100.25.46.189 ec2-100-25-46-189.compute-1.amazonaws.com US
54.152.77.31 ec2-54-152-77-31.compute-1.amazonaws.com US
52.86.112.146 ec2-52-86-112-146.compute-1.amazonaws.com US
13.56.179.125 ec2-13-56-179-125.us-west-1.compute.amazonaws.com US
104.144.97.164 ? US
使用者代理字串
Scrapy/2.2.1 (+https://scrapy.org)
首次出現
2021-01-28 17:17:23
最後出現
2021-01-28 17:17:23
遵循robots.txt
未知
來源
IP地址(2) 伺服器名稱 所屬國家
34.76.170.167 167.170.76.34.bc.googleusercontent.com US
34.76.224.176 176.224.76.34.bc.googleusercontent.com US
使用者代理字串
Scrapy/2.3.0 (+https://scrapy.org)
首次出現
2020-11-07 05:39:00
最後出現
2021-01-04 07:55:09
遵循robots.txt
未知
來源
IP地址(2) 伺服器名稱 所屬國家
2a01:4f9:c010:eaec::1 2a01:4f9:c010:eaec::1 DE
51.15.119.74 74-119-15-51.instances.scw.cloud FR
使用者代理字串
Scrapy/1.8.0 (+https://scrapy.org)
首次出現
2019-11-11 05:12:58
最後出現
2021-01-03 04:29:13
遵循robots.txt
未知
來源
IP地址(7) 伺服器名稱 所屬國家
107.178.236.15 15.236.178.107.gae.googleusercontent.com US
35.202.86.46 46.86.202.35.bc.googleusercontent.com US
47.89.225.105 ? US
160.114.55.188 rgai3.inf.u-szeged.hu HU
123.25.21.157 mail.soft365.com.vn VN
使用者代理字串
Scrapy/1.6.0 (+https://scrapy.org)
首次出現
2019-02-04 21:58:11
最後出現
2020-10-19 13:26:38
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
138.201.35.152 static.152.35.201.138.clients.your-server.de DE
138.201.36.40 static.40.36.201.138.clients.your-server.de DE
80.211.112.51 host51-112-211-80.serverdedicati.aruba.it IT
39.100.157.53 ? CN
39.100.156.45 ? CN
使用者代理字串
Scrapy/2.2.0 (+https://scrapy.org)
首次出現
2020-07-06 11:04:52
最後出現
2020-07-06 11:12:46
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
185.153.151.34 185.153.151.34 LU
使用者代理字串
Scrapy/2.1.0 (+https://scrapy.org)
首次出現
2020-07-01 14:16:52
最後出現
2020-07-01 14:52:14
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
82.102.19.196 ncopus196.niliny.pw BE
使用者代理字串
Scrapy/1.7.2 (+https://scrapy.org)
首次出現
2019-10-17 16:38:47
最後出現
2020-06-25 04:38:18
遵循robots.txt
未知
來源
IP地址(2) 伺服器名稱 所屬國家
176.74.192.99 hbase7.domaincrawler.com SE
176.74.199.2 ? SE
使用者代理字串
Scrapy/1.4.0 (+http://scrapy.org)
首次出現
2017-07-28 16:43:00
最後出現
2020-01-13 13:16:28
遵循robots.txt
否
來源
IP地址(10) 伺服器名稱 所屬國家
36.226.224.37 36-226-224-37.dynamic-ip.hinet.net TW
36.227.109.231 36-227-109-231.dynamic-ip.hinet.net TW
36.224.51.7 36-224-51-7.dynamic-ip.hinet.net TW
36.226.231.20 36-226-231-20.dynamic-ip.hinet.net TW
36.228.229.79 36-228-229-79.dynamic-ip.hinet.net TW
使用者代理字串
Scrapy/1.0.5 (+http://scrapy.org)
首次出現
2016-02-12 15:26:00
最後出現
2019-12-30 08:01:46
遵循robots.txt
否
來源
IP地址(10) 伺服器名稱 所屬國家
136.243.11.22 ? DE
78.46.88.202 ? DE
136.243.76.224 ? DE
58.246.174.26 ? CN
52.198.176.249 ec2-52-198-176-249.ap-northeast-1.compute.amazonaws.com JP
使用者代理字串
Scrapy/1.7.1 (+https://scrapy.org)
首次出現
2019-08-06 08:42:08
最後出現
2019-08-27 11:30:05
遵循robots.txt
未知
來源
IP地址(2) 伺服器名稱 所屬國家
147.92.33.234 147.92.33.234 HK
8.44.182.23 ? US
使用者代理字串
Scrapy/1.5.2 (+https://scrapy.org)
首次出現
2019-02-03 19:06:16
最後出現
2019-07-07 06:18:17
遵循robots.txt
未知
來源
IP地址(3) 伺服器名稱 所屬國家
130.203.136.75 ? US
185.47.220.131 ? CZ
188.175.125.148 188.175.125.148 CZ
使用者代理字串
Scrapy/1.0.3 (+http://scrapy.org)
首次出現
2015-12-14 08:00:00
最後出現
2018-05-11 07:16:04
遵循robots.txt
否
來源
IP地址(10) 伺服器名稱 所屬國家
54.160.194.98 ec2-54-160-194-98.compute-1.amazonaws.com US
61.164.42.140 ? CN
139.59.29.77 ? IN
52.88.187.57 ec2-52-88-187-57.us-west-2.compute.amazonaws.com US
108.61.242.65 108.61.242.65.vultr.com US
使用者代理字串
Scrapy/1.3.0 (+http://scrapy.org)
首次出現
2017-01-30 01:37:54
最後出現
2018-04-27 06:46:07
遵循robots.txt
未知
來源
IP地址(5) 伺服器名稱 所屬國家
13.57.36.202 ec2-13-57-36-202.us-west-1.compute.amazonaws.com US
104.218.141.98 ? US
23.106.83.199 ? US
23.81.67.216 ? US
136.243.66.162 ? DE
使用者代理字串
Scrapy/1.1.2 (+http://scrapy.org)
首次出現
2016-09-10 01:45:54
最後出現
2018-03-19 11:01:04
遵循robots.txt
未知
來源
IP地址(8) 伺服器名稱 所屬國家
13.113.121.129 ec2-13-113-121-129.ap-northeast-1.compute.amazonaws.com JP
52.197.188.46 ec2-52-197-188-46.ap-northeast-1.compute.amazonaws.com JP
52.68.219.226 ec2-52-68-219-226.ap-northeast-1.compute.amazonaws.com JP
13.113.12.64 ec2-13-113-12-64.ap-northeast-1.compute.amazonaws.com JP
52.199.78.154 ec2-52-199-78-154.ap-northeast-1.compute.amazonaws.com JP
使用者代理字串
Scrapy/1.3.2 (+http://scrapy.org)
首次出現
2017-12-20 10:34:45
最後出現
2017-12-20 10:34:45
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
111.200.195.186 111.200.195.186 CN
使用者代理字串
Scrapy/1.3.3 (+http://scrapy.org)
首次出現
2017-02-08 11:05:24
最後出現
2017-11-07 09:12:10
遵循robots.txt
未知
來源
IP地址(8) 伺服器名稱 所屬國家
13.114.207.110 ec2-13-114-207-110.ap-northeast-1.compute.amazonaws.com JP
52.196.202.55 ec2-52-196-202-55.ap-northeast-1.compute.amazonaws.com JP
34.208.16.193 ec2-34-208-16-193.us-west-2.compute.amazonaws.com US
107.23.10.123 ec2-107-23-10-123.compute-1.amazonaws.com US
54.167.210.113 ec2-54-167-210-113.compute-1.amazonaws.com US
使用者代理字串
Scrapy/0.16.5 (+http://scrapy.org)
首次出現
2016-08-18 20:17:35
最後出現
2017-08-16 09:26:14
遵循robots.txt
未知
來源
IP地址(2) 伺服器名稱 所屬國家
98.100.180.20 rrcs-98-100-180-20.central.biz.rr.com US
67.53.77.196 rrcs-67-53-77-196.west.biz.rr.com US
使用者代理字串
Scrapy/0.24.5 (+http://scrapy.org)
首次出現
2014-12-19 09:53:17
最後出現
2017-04-14 00:30:33
遵循robots.txt
未知
來源
IP地址(5) 伺服器名稱 所屬國家
52.197.129.56 ec2-52-197-129-56.ap-northeast-1.compute.amazonaws.com JP
52.69.69.138 ec2-52-69-69-138.ap-northeast-1.compute.amazonaws.com JP
52.192.241.191 ec2-52-192-241-191.ap-northeast-1.compute.amazonaws.com JP
107.23.56.124 ec2-107-23-56-124.compute-1.amazonaws.com US
52.69.82.104 ec2-52-69-82-104.ap-northeast-1.compute.amazonaws.com JP
使用者代理字串
Scrapy/1.2.2 (+http://scrapy.org)
首次出現
2017-01-12 23:59:17
最後出現
2017-03-26 23:59:17
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
52.200.30.172 ec2-52-200-30-172.compute-1.amazonaws.com US
使用者代理字串
Scrapy/1.0.5.post4+g4b324a8 (+http://scrapy.org)
首次出現
2017-01-07 23:32:39
最後出現
2017-01-07 23:32:39
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
98.126.65.56 ? US
使用者代理字串
Scrapy/1.2.1 (+http://scrapy.org)
首次出現
2016-11-09 23:25:03
最後出現
2016-12-13 16:37:29
遵循robots.txt
未知
來源
IP地址(3) 伺服器名稱 所屬國家
5.230.153.214 ? GB
178.18.151.162 ? CZ
54.213.151.77 ec2-54-213-151-77.us-west-2.compute.amazonaws.com US
使用者代理字串
Scrapy/1.1.1 (+http://scrapy.org)
首次出現
2016-09-11 07:43:33
最後出現
2016-12-04 14:34:58
遵循robots.txt
否
來源
IP地址(3) 伺服器名稱 所屬國家
138.201.52.218 ? DE
134.96.225.227 colossus02.cs.uni-saarland.de DE
192.240.14.1 host01.fna.fujitsu.com US
使用者代理字串
Scrapy/1.1.0 (+http://scrapy.org)
首次出現
2016-06-12 20:00:00
最後出現
2016-09-01 16:03:46
遵循robots.txt
否
來源
IP地址(4) 伺服器名稱 所屬國家
138.201.57.140 ? DE
148.251.133.219 ? DE
192.240.14.1 host01.fna.fujitsu.com US
92.249.223.121 92-249-223-121.pool.digikabel.hu HU
使用者代理字串
Scrapy/1.0.4 (+http://scrapy.org)
首次出現
2016-01-27 06:10:00
最後出現
2016-02-19 11:08:30
遵循robots.txt
未知
來源
IP地址(2) 伺服器名稱 所屬國家
103.14.245.38 103.14.245.38 SG
219.92.50.109 gbk-50-109.tm.net.my MY
使用者代理字串
Scrapy/1.0.1 (+http://scrapy.org)
首次出現
2015-02-07 05:07:09
最後出現
2016-02-10 14:16:41
遵循robots.txt
未知
來源
IP地址(3) 伺服器名稱 所屬國家
194.150.168.95 kaputte.li DE
46.105.110.61 ns3435966.ip-46-105-110.eu FR
158.69.26.33 ns517020.ip-158-69-26.net CA
使用者代理字串
Scrapy/0.24.0 (+http://scrapy.org)
首次出現
2014-08-08 09:15:00
最後出現
2015-12-05 09:29:21
遵循robots.txt
未知
來源
IP地址(2) 伺服器名稱 所屬國家
114.212.190.201 cs-cloud.nju.edu.cn CN
54.72.183.135 ec2-54-72-183-135.eu-west-1.compute.amazonaws.com US
使用者代理字串
Scrapy/0.24.6 (+http://scrapy.org)
首次出現
2015-08-19 21:13:23
最後出現
2015-08-19 21:13:23
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
188.40.45.131 ? DE
使用者代理字串
Scrapy/0.25.1 (+http://scrapy.org)
首次出現
2015-04-08 18:52:07
最後出現
2015-04-08 18:52:08
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
69.124.113.52 ool-457c7134.dyn.optonline.net US
使用者代理字串
Scrapy/0.24.4 (+http://scrapy.org)
首次出現
2015-12-01 07:19:29
最後出現
2014-12-10 23:03:17
遵循robots.txt
未知
來源
IP地址(2) 伺服器名稱 所屬國家
97.74.4.58 ip-97-74-4-58.ip.secureserver.net US
54.72.183.135 ec2-54-72-183-135.eu-west-1.compute.amazonaws.com IE
使用者代理字串
Scrapy/0.22.2 (+http://scrapy.org)
首次出現
2014-02-18 10:40:06
最後出現
2014-06-18 20:56:00
遵循robots.txt
未知
來源
IP地址(2) 伺服器名稱 所屬國家
201.204.48.114 201.204.48.114 CR
64.53.192.27 d53-64-27-192.nap.wideopenwest.com US

訪問控制

瞭解如何控制Scrapy訪問許可權，避免Scrapy抓取行為不當。

是否攔截Scrapy？

可以考慮攔截。。爬蟲通常會下載公開的網際網路內容，這些內容預設情況下可以免費訪問。不過，如果你不希望你的內容被用於未經授權的目的，你應該攔截它們。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Scrapy 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。 

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: Scrapy
Disallow: /

您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

更多資訊

一個開源的協作框架，用於從網站中提取你需要的資料。

以一種快速、簡單而又可擴充套件的方式。

由Zyte（以前的Scrapinghub）和許多其他貢獻者維護。

站長工具

我們為站長量身定做的高效工具集。
關鍵詞查詢工具
WP錯誤查詢
robots.txt測試工具
SEO工具箱
WordPress主題檢測器
SEO優化中心
WP開發寶典
蜘蛛查詢工具
檢視全部工具

常見蜘蛛/爬蟲

Common Spiders
Seamus
Seamus蜘蛛/爬蟲屬於爬蟲型別，由Unknown Author開發執行。您可以繼續閱讀下方資訊，以深入瞭解Seamus基本資訊，使用者代理和訪問控制等。
SupaGuard
SupaGuard蜘蛛/爬蟲屬於爬蟲型別，由Unknown Author開發執行。您可以繼續閱讀下方資訊，以深入瞭解SupaGuard基本資訊，使用者代理和訪問控制等。
employer-address-finder
employer-address-finder蜘蛛/爬蟲屬於爬蟲型別，由Unknown Author開發執行。您可以繼續閱讀下方資訊，以深入瞭解employer-address-finder基本資訊，使用者代理和訪問控制等。
SocialMediaScrapperv2
SocialMediaScrapperv2蜘蛛/爬蟲屬於爬蟲型別，由Unknown Author開發執行。您可以繼續閱讀下方資訊，以深入瞭解SocialMediaScrapperv2基本資訊，使用者代理和訪問控制等。
DomainCrawler
DomainCrawler蜘蛛/爬蟲屬於爬蟲型別，由Unknown Author開發執行。您可以繼續閱讀下方資訊，以深入瞭解DomainCrawler基本資訊，使用者代理和訪問控制等。
ComplianceChecker
ComplianceChecker蜘蛛/爬蟲屬於爬蟲型別，由Unknown Author開發執行。您可以繼續閱讀下方資訊，以深入瞭解ComplianceChecker基本資訊，使用者代理和訪問控制等。
BusinessNameBot
BusinessNameBot蜘蛛/爬蟲屬於爬蟲型別，由Unknown Author開發執行。您可以繼續閱讀下方資訊，以深入瞭解BusinessNameBot基本資訊，使用者代理和訪問控制等。
BitFire-IconUpscaler
BitFire-IconUpscaler蜘蛛/爬蟲屬於爬蟲型別，由Unknown Author開發執行。您可以繼續閱讀下方資訊，以深入瞭解BitFire-IconUpscaler基本資訊，使用者代理和訪問控制等。

相關文章

Related Articles