Fake bot

Fake bot蜘蛛/爬虫属于爬虫类型,由Unknown Author开发运行。您可以继续阅读下方信息,以深入了解Fake bot基本信息,用户代理和访问控制等。

基本信息

Fake bot的基本信息如下表。但部分不是很规范的蜘蛛和爬虫,可能存在信息不明的情况。
蜘蛛/爬虫名称
Fake bot
类型
爬虫 , 工具
开发商
Unknown Author
当前状态
活动

用户代理

关于Fake bot蜘蛛或者爬虫的用户代理字符串,IP地址和服务器,所在地等信息如下表格所示:
fake Bytespider
用户代理字符串
Mozilla/5.0 (compatible; Bytespider; spider-feedback@bytedance.com) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.0.0 Safari/537.36
首次出现
2023-06-08 14:59:08
最后出现
2025-01-10 05:13:19
遵循robots.txt
未知
来源
IP地址(4749) 服务器名称 所属国家
13.213.138.24 ec2-13-213-138-24.ap-southeast-1.compute.amazonaws.com SG
18.143.110.210 ec2-18-143-110-210.ap-southeast-1.compute.amazonaws.com SG
54.254.31.227 ec2-54-254-31-227.ap-southeast-1.compute.amazonaws.com SG
18.136.64.1 ec2-18-136-64-1.ap-southeast-1.compute.amazonaws.com SG
54.254.124.217 ec2-54-254-124-217.ap-southeast-1.compute.amazonaws.com SG
用户代理字符串
Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/\xA1\xB1; )
首次出现
2024-05-17 22:12:09
最后出现
2025-01-08 17:57:24
遵循robots.txt
未知
来源
IP地址(32) 服务器名称 所属国家
35.180.131.10 ec2-35-180-131-10.eu-west-3.compute.amazonaws.com FR
用户代理字符串
Sogou Push Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07\xA1\xE5)
首次出现
2024-05-17 22:12:04
最后出现
2025-01-08 17:48:17
遵循robots.txt
未知
来源
IP地址(39) 服务器名称 所属国家
103.119.130.46 103.119.130.46 HK
用户代理字符串
Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943
首次出现
2025-01-05 04:41:16
最后出现
2025-01-05 04:41:16
遵循robots.txt
未知
用户代理字符串
iaskspider/2.0(+http://iask.com/help/help_index.html\xA1\xB1)
首次出现
2024-05-16 15:01:10
最后出现
2025-01-04 13:58:34
遵循robots.txt
未知
用户代理字符串
grub-client-1.5.3; (grub-client-1.5.3; Crawl your own stuff with http://grub.org)
首次出现
2020-07-18 20:02:13
最后出现
2025-01-03 05:56:03
遵循robots.txt
未知
用户代理字符串
AdsBot-Google ( http://www.google.com/adsbot.html)
首次出现
2020-09-02 16:18:57
最后出现
2024-12-29 19:28:26
遵循robots.txt
未知
来源
IP地址(16) 服务器名称 所属国家
172.105.76.43 172-105-76-43.ip.linodeusercontent.com DE
144.202.15.98 144.202.15.98.vultrusercontent.com US
185.10.68.254 254.68.10.185.ro.ovo.sc SC
13.59.112.196 ec2-13-59-112-196.us-east-2.compute.amazonaws.com US
2600:6c55:6800:bb9::13c8 2600:6c55:6800:bb9::13c8 US
用户代理字符串
Facebot
首次出现
2021-07-14 04:42:54
最后出现
2024-12-13 08:54:56
遵循robots.txt
未知
来源
IP地址(336) 服务器名称 所属国家
2600:387:2:805::64 2600:387:2:805::64 US
103.130.176.14 visit.keznews.com TH
172.58.168.63 172.58.168.63 US
41.113.148.21 41.113.148.21 ZA
3.10.134.221 ec2-3-10-134-221.eu-west-2.compute.amazonaws.com GB
用户代理字符串
Mozilla/5.0 (iPhone; CPU iPhone OS 16_6 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/16.6 Mobile/15E148 Safari/604.1 (compatible; Yeti/1.1; +https://naver.me/spd)
首次出现
2024-05-28 05:58:19
最后出现
2024-12-10 06:24:22
遵循robots.txt
未知
用户代理字符串
msnbot-media/1.1 ( http://search.msn.com/msnbot.htm)
首次出现
2022-01-10 22:19:16
最后出现
2024-11-21 01:41:54
遵循robots.txt
未知
来源
IP地址(46) 服务器名称 所属国家
106.75.4.49 106.75.4.49 CN
134.19.179.155 155.179.19.134.in-addr.arpa NL
165.227.131.62 165.227.131.62 DE
135.181.53.49 static.49.53.181.135.clients.your-server.de FI
95.216.80.134 static.134.80.216.95.clients.your-server.de FI
用户代理字符串
User-Agent: Mozilla/5.0 (compatible; archive.org_bot +http://archive.org/details/archive.org_bot) Zeno/fc0b683 warc/v0.8.53
首次出现
2024-11-13 10:07:36
最后出现
2024-11-13 10:07:36
遵循robots.txt
未知
来源
IP地址(2) 服务器名称 所属国家
217.123.78.152 217-123-78-152.cable.dynamic.v4.ziggo.nl NL
用户代理字符串
Y!J-DLC/1.0 (https://support.yahoo-net.jp/PccSearch/s/article/H000007955)
首次出现
2024-11-11 06:32:44
最后出现
2024-11-11 06:32:44
遵循robots.txt
未知
来源
IP地址(41) 服务器名称 所属国家
77.109.116.243 77.109.116.243.adsl.dyn.edpnet.net BE
用户代理字符串
Gaisbot/3.0 (robot@gais.cs.ccu.edu.tw; http://gais.cs.ccu.edu.tw/robot.php)
首次出现
2020-02-06 05:51:00
最后出现
2024-10-30 20:44:54
遵循robots.txt
未知
来源
IP地址(14) 服务器名称 所属国家
176.194.1.112 ip-176-194-1-112.bb.netbynet.ru RU
185.220.101.67 185.220.101.67 DE
54.167.63.104 ec2-54-167-63-104.compute-1.amazonaws.com US
3.231.219.126 ec2-3-231-219-126.compute-1.amazonaws.com US
用户代理字符串
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0_1 like Mac OS X) AppleWebKit/537.4 (KHTML, like Gecko; Google Page Speed Insights) Version/6.0 Mobile/10A525 Safari/8536.25
首次出现
2020-02-19 08:19:32
最后出现
2024-09-20 12:26:21
遵循robots.txt
未知
用户代理字符串
AwarioSmartBot/1.0
首次出现
2024-09-11 14:48:04
最后出现
2024-09-11 14:48:04
遵循robots.txt
未知
用户代理字符串
Mozilla/5.0 (compatible; CloudFlare-AlwaysOnline/1.0; +https://www.cloudflare.com/always-online) AppleWebKit/534.34
首次出现
2024-09-09 10:41:32
最后出现
2024-09-09 10:41:32
遵循robots.txt
未知
用户代理字符串
Twitterbot
首次出现
2020-12-25 05:21:58
最后出现
2024-07-01 05:17:11
遵循robots.txt
未知
来源
IP地址(32) 服务器名称 所属国家
34.245.226.152 ec2-34-245-226-152.eu-west-1.compute.amazonaws.com IE
54.170.97.188 ec2-54-170-97-188.eu-west-1.compute.amazonaws.com IE
34.243.122.89 ec2-34-243-122-89.eu-west-1.compute.amazonaws.com IE
54.229.75.236 ec2-54-229-75-236.eu-west-1.compute.amazonaws.com IE
34.250.107.228 ec2-34-250-107-228.eu-west-1.compute.amazonaws.com IE
用户代理字符串
Baidu
首次出现
2024-05-14 15:01:59
最后出现
2024-05-14 15:01:59
遵循robots.txt
未知
用户代理字符串
Iframely/1.3.1 (+https://iframely.com/docs/about) Atlassian
首次出现
2021-11-28 08:35:09
最后出现
2024-04-18 19:45:43
遵循robots.txt
未知
来源
IP地址(93) 服务器名称 所属国家
18.205.157.43 ec2-18-205-157-43.compute-1.amazonaws.com US
3.84.243.19 ec2-3-84-243-19.compute-1.amazonaws.com US
44.201.179.72 ec2-44-201-179-72.compute-1.amazonaws.com US
3.83.149.198 ec2-3-83-149-198.compute-1.amazonaws.com US
34.227.226.250 ec2-34-227-226-250.compute-1.amazonaws.com US
用户代理字符串
Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; B; +http://yandex.com/bots) 1 readers
首次出现
2020-09-11 15:36:11
最后出现
2024-03-30 07:51:46
遵循robots.txt
未知
来源
IP地址(11) 服务器名称 所属国家
137.184.120.250 137.184.120.250 US
51.89.208.17 ip17.ip-51-89-208.eu FR
77.109.116.243 77.109.116.243.adsl.dyn.edpnet.net BE
用户代理字符串
Mozilla/5.0 (compatible; msnbot1.1; +https://search.msn.com/msnbot.htm)
首次出现
2024-01-12 15:01:17
最后出现
2024-01-12 15:01:17
遵循robots.txt
来源
IP地址(100) 服务器名称 所属国家
193.37.33.6 193.37.33.6 SG
194.49.52.30 194.49.52.30 GB
197.133.61.42 197.133.61.42 EG
216.73.161.143 216.73.161.143 US
216.73.161.158 216.73.161.158 US
用户代理字符串
Mozilla/5.0 ((Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36; 360Spider SogouSpider
首次出现
2023-09-25 06:23:02
最后出现
2024-01-10 15:09:22
遵循robots.txt
未知
来源
IP地址(4) 服务器名称 所属国家
210.52.224.29 210.52.224.29 CN
101.227.1.197 101.227.1.197 CN
101.227.1.199 101.227.1.199 CN
用户代理字符串
baiduSpider
首次出现
2024-01-02 09:07:17
最后出现
2024-01-02 09:07:17
遵循robots.txt
未知
来源
IP地址(249) 服务器名称 所属国家
112.84.58.122 112.84.58.122 CN
122.192.188.167 122.192.188.167 CN
139.159.230.246 ecs-139-159-230-246.compute.hwclouds-dns.com CN
112.84.10.94 112.84.10.94 ?
107.150.124.238 107.150.124.238 HK
用户代理字符串
Googlebot/2.1; +http://www.google.com/bot.html
首次出现
2018-11-16 10:32:47
最后出现
2023-12-31 05:26:12
遵循robots.txt
来源
IP地址(362) 服务器名称 所属国家
195.201.251.88 hz-api-01.quttera.com DE
168.161.22.1 fw-eisrdu-outside-public.tweis.net US
79.169.236.4 a79-169-236-4.cpe.netcabo.pt PT
104.249.0.210 104.249.0.210 US
172.86.115.254 172.86.115.254 US
用户代理字符串
SlackbotLinkExpanding 1.0 (+https://api.slack.com/robots)
首次出现
2023-04-19 19:04:07
最后出现
2023-04-19 19:04:07
遵循robots.txt
未知
来源
IP地址(2) 服务器名称 所属国家
193.226.215.134 193-226-215-134.pool.digikabel.hu HU
77.40.50.223 223.50.pppoe.mari-el.ru RU
用户代理字符串
ABACHOBot/4.3 (PCLinuxOS 7.5; es;)
首次出现
2023-03-30 14:22:34
最后出现
2023-03-30 14:22:34
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
35.180.131.10 ec2-35-180-131-10.eu-west-3.compute.amazonaws.com FR
用户代理字符串
TerrawizBot/17.0 (UniCOS 2.4; th_TH;)
首次出现
2023-03-30 12:27:54
最后出现
2023-03-30 12:27:54
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
35.180.131.10 ec2-35-180-131-10.eu-west-3.compute.amazonaws.com FR
用户代理字符串
FAST-WebCrawler/3.6/FirstPage (atw-crawler at fast dot no;http://fast.no/support/crawler.asp)
首次出现
2015-03-28 10:32:57
最后出现
2023-02-11 16:05:02
遵循robots.txt
未知
来源
IP地址(3) 服务器名称 所属国家
178.205.246.174 178.205.246.174 RU
185.129.148.205 ? LV
178.205.246.142 178.205.246.142 RU
用户代理字符串
User-Agent: Mozilla/5.0 (compatible; FemtosearchBot/1.0; http://femtosearch.com)
首次出现
2023-01-31 00:10:09
最后出现
2023-01-31 00:10:09
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
77.109.116.243 77.109.116.243.adsl.dyn.edpnet.net BE
用户代理字符串
User-Agent: DuckDuckBot/1.1; (+http://duckduckgo.com/duckduckbot.html)
首次出现
2023-01-31 00:07:25
最后出现
2023-01-31 00:07:25
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
77.109.116.243 77.109.116.243.adsl.dyn.edpnet.net BE
用户代理字符串
User Agent : Mozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/)
首次出现
2022-11-10 09:30:58
最后出现
2022-11-10 09:30:58
遵循robots.txt
未知
用户代理字符串
acebookexternalhit/1.0 (+http://www.facebook.com/externalhit_uatext.php)
首次出现
2018-10-09 02:34:15
最后出现
2022-09-02 15:08:22
遵循robots.txt
未知
来源
IP地址(9) 服务器名称 所属国家
144.126.134.7 vmi557811.contaboserver.net US
125.65.146.127 127.146.65.125.broad.ls.sc.dynamic.163data.com.cn CN
154.66.162.83 154.66.162.83 BF
216.73.161.156 216.73.161.156 US
216.73.161.140 216.73.161.140 US
用户代理字符串
Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)
首次出现
2019-09-14 06:14:20
最后出现
2022-08-20 13:56:25
遵循robots.txt
未知
来源
IP地址(7) 服务器名称 所属国家
104.233.201.98 104.233.201.98 US
23.224.94.50 23.224.94.50 US
23.224.210.66 23.224.210.66 US
23.225.228.234 23.225.228.234 US
192.151.208.122 192.151.208.122 US
用户代理字符串
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html
首次出现
2018-03-27 14:08:32
最后出现
2022-08-17 13:52:06
遵循robots.txt
未知
来源
IP地址(9) 服务器名称 所属国家
120.35.46.113 113.46.35.120.broad.fz.fj.dynamic.163data.com.cn CN
86.104.10.80 86.104.10.80 RO
27.159.92.15 27.159.92.15 CN
150.138.80.174 150.138.80.174 CN
154.86.129.246 154.86.129.246 US
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/[WEBKIT_VERSION] (KHTML, like Gecko, Mediapartners-Google) Chrome/[CHROME_VERSION] Safari/[WEBKIT_VERSION]
首次出现
2019-06-07 13:38:24
最后出现
2022-08-07 18:21:57
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
23.94.178.200 23-94-178-200-host.colocrossing.com US
138.219.74.147 138.219.74.147 US
193.31.126.79 193.31.126.79 SK
51.79.137.185 ip185.ip-51-79-137.net SG
46.161.11.11 46.161.11.11 GB
用户代理字符串
Chrome/103 (ModaBot like Googlebot)
首次出现
2022-07-28 20:58:36
最后出现
2022-08-03 23:37:48
遵循robots.txt
未知
来源
IP地址(3) 服务器名称 所属国家
35.227.138.50 ? US
34.83.207.180 ? US
34.168.85.165 ? US
用户代理字符串
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko; Google-Sites-Thumbnails) Chrome/84.0.4147.140 Safari/537.36
首次出现
2020-09-30 16:29:33
最后出现
2022-06-28 18:31:15
遵循robots.txt
未知
来源
IP地址(3) 服务器名称 所属国家
179.61.138.130 optin.houndpics.net DE
185.33.138.2 185.33.138.2 CZ
34.246.84.242 ec2-34-246-84-242.eu-west-1.compute.amazonaws.com IE
用户代理字符串
findlinks/1.06 (+http://wortschatz.uni-leipzig.de/findlinks/)
首次出现
2022-06-25 05:35:26
最后出现
2022-06-25 05:35:26
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
156.96.154.231 156.96.154.231 US
用户代理字符串
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.0.0 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
首次出现
2022-06-13 09:35:56
最后出现
2022-06-13 09:36:20
遵循robots.txt
未知
用户代理字符串
DeepCrawl
首次出现
2022-06-03 17:18:54
最后出现
2022-06-03 17:18:54
遵循robots.txt
未知
用户代理字符串
msnbot/1.1 ( http://search.msn.com/msnbot.htm)
首次出现
2020-03-26 12:49:59
最后出现
2022-05-23 05:29:35
遵循robots.txt
未知
来源
IP地址(3) 服务器名称 所属国家
179.43.154.181 179.43.154.181 CH
172.98.193.62 relay2.backplanedns.org US
37.46.114.113 bg.as51430.net BG
用户代理字符串
Mozilla/5.0 (compatible; Bingbot/2.0; +http://www.bing.com/bingbot.htm) google
首次出现
2022-05-14 05:01:36
最后出现
2022-05-21 04:02:36
遵循robots.txt
未知
用户代理字符串
FeedFetcher-Google; ( http://www.google.com/feedfetcher.html)
首次出现
2022-05-02 06:09:58
最后出现
2022-05-02 06:09:58
遵循robots.txt
未知
用户代理字符串
Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html)
首次出现
2019-10-02 08:33:42
最后出现
2022-04-28 07:17:19
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
59.52.206.132 59.52.206.132 CN
59.53.169.197 197.169.53.59.broad.nc.jx.dynamic.163data.com.cn CN
182.87.80.25 182.87.80.25 CN
59.52.205.219 59.52.205.219 CN
59.53.220.83 83.220.53.59.broad.nc.jx.dynamic.163data.com.cn CN
用户代理字符串
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html
首次出现
2018-02-23 02:08:11
最后出现
2022-04-15 18:47:54
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
124.248.67.49 ? CN
112.47.58.180 ? CN
112.47.58.177 ? CN
50.117.24.211 ? US
23.27.76.146 ? US
用户代理字符串
googlebot
首次出现
2020-10-13 18:45:00
最后出现
2022-04-11 05:55:45
遵循robots.txt
未知
来源
IP地址(6) 服务器名称 所属国家
103.55.53.254 103.55.53.254 HK
80.87.223.110 1116.110.cus.dsidata.sk SK
73.81.153.55 73.81.153.55 US
109.254.254.16 109.254.254.16 UA
109.178.154.34 109-178-154-34.pat.ren.cosmote.net GR
用户代理字符串
CatchBot/1.0; http://www.catchbot.com
首次出现
2022-04-01 12:32:53
最后出现
2022-04-01 12:32:53
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
180.75.251.237 180.75.251.237 MY
用户代理字符串
Mozilla/5.0 (compatible; Googlebot/2.1;)
首次出现
2022-03-25 00:27:28
最后出现
2022-03-28 00:07:33
遵循robots.txt
未知
来源
IP地址(3) 服务器名称 所属国家
35.205.219.108 108.219.205.35.bc.googleusercontent.com BE
34.79.158.164 164.158.79.34.bc.googleusercontent.com BE
104.199.45.172 172.45.199.104.bc.googleusercontent.com BE
用户代理字符串
Baiduspider+(+http://www.baidu.com/search/spider.htm);googlebot|baiduspider|baidu|spider|sogou|bingbot|bot|yahoo|soso|sosospider|360spider|youdaobot|jikeSpider;)
首次出现
2020-08-21 02:28:04
最后出现
2022-03-19 06:46:10
遵循robots.txt
未知
来源
IP地址(2) 服务器名称 所属国家
58.48.189.166 58.48.189.166 CN
183.136.225.56 183.136.225.56 CN
用户代理字符串
msnbot/0.11 ( http://search.msn.com/msnbot.htm)
首次出现
2022-03-18 10:43:48
最后出现
2022-03-18 10:43:48
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
54.221.59.45 ec2-54-221-59-45.compute-1.amazonaws.com US
用户代理字符串
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html\xA3\xA9
首次出现
2018-04-18 12:36:23
最后出现
2022-03-14 01:02:59
遵循robots.txt
未知
来源
IP地址(5) 服务器名称 所属国家
167.179.48.56 167.179.48.56 HK
180.215.5.137 180.215.5.137 IN
211.161.102.167 211.161.102.167 CN
125.120.11.119 ? CN
119.187.255.178 ? CN
用户代理字符串
facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php) _zbot
首次出现
2021-12-01 13:23:18
最后出现
2022-03-02 19:39:53
遵循robots.txt
未知
来源
IP地址(4) 服务器名称 所属国家
2402:1f00:8001:1ea:: 2402:1f00:8001:1ea:: SG
2402:1f00:8001:257:: 2402:1f00:8001:257:: SG
139.99.8.123 ns535995.ip-139-99-8.net SG
139.99.122.1 ns547930.ip-139-99-122.net SG
用户代理字符串
Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)
首次出现
2016-08-18 16:05:46
最后出现
2022-03-02 11:14:03
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
51.68.11.195 gwc.cluster003.hosting.ovh.net FR
188.40.110.12 s51.linuxpl.com DE
192.185.4.77 gator4066.hostgator.com US
108.167.133.27 gator4171.hostgator.com US
37.9.169.9 9.169.9.37.in-addr.arpa.websupport.sk SK
用户代理字符串
Mozilla/5.0 (compatible; Googlebot/2.1 +http://www.googlebot.com/bot.html)
首次出现
2014-12-16 17:58:46
最后出现
2022-02-25 07:21:56
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
185.246.211.198 unn-185.246.211-198.datapacket.com FR
83.29.189.229 83.29.189.229.ipv4.supernova.orange.pl PL
52.175.133.98 52.175.133.98 JP
34.126.128.88 88.128.126.34.bc.googleusercontent.com US
13.72.226.101 13.72.226.101 AU
用户代理字符串
facebookexternalhit/1.1; Mozilla/5.0 (compatible; WorksOgCrawler/1.0.0;)
首次出现
2020-12-09 15:12:48
最后出现
2022-02-14 08:57:41
遵循robots.txt
未知
来源
IP地址(2) 服务器名称 所属国家
211.249.40.23 211.249.40.23 KR
110.234.240.6 110.234.240.6 JP
用户代理字符串
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4201.0 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
首次出现
2021-09-02 05:11:43
最后出现
2022-02-01 13:17:01
遵循robots.txt
未知
来源
IP地址(2) 服务器名称 所属国家
5.214.22.73 5.214.22.73 IR
178.34.150.122 178.34.150.122 RU
用户代理字符串
Googlebot/2.1 (+http://www.googlebot.com/bot.html)
首次出现
2011-01-23 15:09:17
最后出现
2022-01-19 09:37:46
遵循robots.txt
未知
来源
IP地址(9) 服务器名称 所属国家
192.185.6.21 pss2.win.hostgator.com US
77.73.70.103 77.73.70.103 RU
185.54.228.76 185.54.228.76 AU
173.208.241.74 173.208.241.74 US
178.155.6.87 178.155.6.87 RU
用户代理字符串
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko; Google Web Preview) Chrome/27.0.1453 Safari/537.36,gzip(gfe)
首次出现
2020-11-08 00:32:56
最后出现
2022-01-12 19:25:10
遵循robots.txt
未知
来源
IP地址(3) 服务器名称 所属国家
8.211.3.17 8.211.3.17 DE
8.209.76.110 8.209.76.110 DE
91.144.130.24 91x144x130x24.static-business.tmn.ertelecom.ru RU
用户代理字符串
Mediapartners-Google/2.1
首次出现
2022-01-12 04:50:26
最后出现
2022-01-12 05:13:53
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
137.184.156.194 137.184.156.194 US
用户代理字符串
Mozilla/5.0 (compatible; YandexBot/3.0; http://yandex.com/bots)
首次出现
2021-12-14 20:32:26
最后出现
2021-12-14 20:32:26
遵循robots.txt
未知
用户代理字符串
YandexBot
首次出现
2021-12-14 20:31:40
最后出现
2021-12-14 20:31:40
遵循robots.txt
未知
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.93 Safari/537.36 Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
首次出现
2021-12-13 21:59:23
最后出现
2021-12-13 21:59:23
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
93.172.47.251 93-172-47-251.bb.netvision.net.il IL
用户代理字符串
Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html);
首次出现
2020-12-09 01:59:22
最后出现
2021-12-02 06:41:02
遵循robots.txt
未知
来源
IP地址(2) 服务器名称 所属国家
49.235.78.113 49.235.78.113 CN
45.159.179.196 45.159.179.196 FR
用户代理字符串
Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
首次出现
2021-12-01 13:39:19
最后出现
2021-12-01 13:39:19
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
49.213.78.31 49.213.78.31 VN
用户代理字符串
Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html) Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html)
首次出现
2021-10-13 08:03:54
最后出现
2021-11-09 10:46:08
遵循robots.txt
未知
来源
IP地址(2) 服务器名称 所属国家
117.95.1.157 117.95.1.157 CN
121.234.198.250 121.234.198.250 CN
用户代理字符串
Googlebot-Video
首次出现
2021-10-19 06:10:09
最后出现
2021-10-19 06:10:09
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
45.145.119.68 45.145.119.68 RU
用户代理字符串
Googlebot-Video/1.0(Linux LLC 1.2)
首次出现
2021-10-17 07:03:36
最后出现
2021-10-17 07:03:36
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
92.119.193.74 92.119.193.74 RU
用户代理字符串
DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; http://www.google.com/bot.html)
首次出现
2021-10-16 07:17:41
最后出现
2021-10-16 07:17:41
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
45.87.253.103 45.87.253.103 RU
用户代理字符串
Mozilla/5.0 (iPhone; U; CPU like Mac OS X; en) AppleWebKit/420+ (KHTML, like Gecko) Version/3.0 Mobile/1A543a Safari/419.3 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
首次出现
2021-10-15 02:47:17
最后出现
2021-10-15 02:47:17
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
46.8.155.69 46.8.155.69 RU
用户代理字符串
Mozilla/5.0 (compatible; SiteAuditBot; +http://www.semrush.com/bot.html)
首次出现
2021-10-04 10:59:47
最后出现
2021-10-04 10:59:47
遵循robots.txt
未知
来源
IP地址(2) 服务器名称 所属国家
82.24.207.97 cpc136228-broo9-2-0-cust864.know.cable.virginm.net GB
213.137.81.160 213.137.81.160 IL
用户代理字符串
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html)
首次出现
2021-09-27 17:07:50
最后出现
2021-09-28 06:44:20
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
192.99.18.122 ns513644.ip-192-99-18.net CA
用户代理字符串
Mozilla/5.0 (Windows NT 10.0; Win64; x64; Googlebot/2.1)
首次出现
2020-11-10 05:27:16
最后出现
2021-09-14 11:24:59
遵循robots.txt
未知
来源
IP地址(9) 服务器名称 所属国家
45.92.108.80 45.92.108.80 CH
185.124.230.196 196.230.124.185.rightside.ru RU
45.191.164.122 undefined.hostname.localhost PA
1.57.215.7 1.57.215.7 CN
185.124.230.199 199.230.124.185.rightside.ru RU
用户代理字符串
Googlebot/2.1; +http://www.google.com/bot.html)
首次出现
2016-10-04 15:53:00
最后出现
2021-09-01 21:52:20
遵循robots.txt
未知
来源
IP地址(7) 服务器名称 所属国家
173.239.94.201 173.239.94.201 US
104.237.143.242 monitor19.sucuri.net US
2600:3c02::f03c:91ff:feaa:2857 2600:3c02::f03c:91ff:feaa:2857 US
88.226.89.178 88.226.89.178.static.ttnet.com.tr TR
162.216.19.183 sitecheck3.sucuri.net US
用户代理字符串
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/99.9.9999.999 Safari/537.36
首次出现
2021-09-01 05:37:33
最后出现
2021-09-01 05:37:33
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
119.94.4.191 119.94.4.191.static.pldt.net PH
用户代理字符串
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html
首次出现
2018-04-11 21:45:21
最后出现
2021-07-31 10:05:19
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
34.244.79.191 ec2-34-244-79-191.eu-west-1.compute.amazonaws.com IE
173.208.195.18 173.208.195.18 US
115.84.92.84 115.84.92.84 LA
216.218.141.227 216.218.141.227 US
216.218.147.201 216.218.147.201 US
用户代理字符串
Googlebot-Image
首次出现
2021-06-25 03:46:51
最后出现
2021-07-06 17:03:34
遵循robots.txt
未知
来源
IP地址(9) 服务器名称 所属国家
162.55.34.42 static.42.34.55.162.clients.your-server.de US
159.69.125.147 static.147.125.69.159.clients.your-server.de DE
157.90.156.116 static.116.156.90.157.clients.your-server.de US
159.69.116.243 static.243.116.69.159.clients.your-server.de DE
162.55.175.121 static.121.175.55.162.clients.your-server.de US
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) Mediapartners-Google AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36
首次出现
2021-06-27 04:57:45
最后出现
2021-06-30 16:33:48
遵循robots.txt
未知
来源
IP地址(3) 服务器名称 所属国家
34.89.115.108 108.115.89.34.bc.googleusercontent.com US
34.105.224.43 43.224.105.34.bc.googleusercontent.com US
34.142.41.205 205.41.142.34.bc.googleusercontent.com US
用户代理字符串
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z! Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
首次出现
2021-06-25 18:48:55
最后出现
2021-06-27 11:29:16
遵循robots.txt
未知
用户代理字符串
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1;
首次出现
2021-05-29 20:02:23
最后出现
2021-05-29 20:02:23
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
175.174.183.179 175.174.183.179 CN
用户代理字符串
Amazonbot
首次出现
2021-05-01 05:25:27
最后出现
2021-05-01 05:25:27
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
212.182.63.154 apollo.cpu.lublin.pl PL
用户代理字符串
MoziMozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
首次出现
2020-01-04 04:31:42
最后出现
2021-04-26 19:02:36
遵循robots.txt
未知
来源
IP地址(5) 服务器名称 所属国家
80.67.10.139 80.67.10.139.adsl.inet-telecom.org SE
184.170.245.4 184.170.245.4 US
134.19.179.243 243.179.19.134.in-addr.arpa NL
85.187.91.135 ? BG
104.200.129.66 104.200.129.66 US
用户代理字符串
Googlebot/2.1; +http://www.google.com/bot.html
首次出现
2018-11-16 10:32:47
最后出现
2021-04-07 20:27:02
遵循robots.txt
未知
来源
IP地址(4) 服务器名称 所属国家
85.218.143.87 85.218.143.87 DK
104.206.12.251 104.206.12.251 US
2607:fcc8:d483:fc00::26 2607:fcc8:d483:fc00::26 US
86.31.173.107 cpc89244-aztw30-2-0-cust3434.18-1.cable.virginm.net GB
用户代理字符串
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
首次出现
2021-04-01 03:31:43
最后出现
2021-04-01 03:31:43
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
217.230.82.254 pd9e652fe.dip0.t-ipconnect.de DE
用户代理字符串
Mozilla/5.0 (compatible; Googlebot/2.1; TQvHkFAy-36 +http://www.google.com/bot.html)
首次出现
2021-03-26 21:57:25
最后出现
2021-03-26 21:57:25
遵循robots.txt
未知
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/%s Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
首次出现
2021-03-24 00:09:35
最后出现
2021-03-24 00:09:35
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
18.196.3.155 ec2-18-196-3-155.eu-central-1.compute.amazonaws.com DE
用户代理字符串
Mozilla/5.0 (Linux; Android 7.0) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Focus +http://www.google.com/bot.html)
首次出现
2021-03-20 17:07:27
最后出现
2021-03-20 17:07:27
遵循robots.txt
未知
用户代理字符串
Mozilla/5.0 (Linux; Android 7.1.1) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Klar/1 +http://www.google.com/bot.html)
首次出现
2021-03-20 16:57:43
最后出现
2021-03-20 16:57:43
遵循robots.txt
未知
用户代理字符串
Mozilla/5.0 (Windows; U; Windows NT 5.1; en-U +http://www.google.com/bot.html)
首次出现
2021-03-20 16:48:27
最后出现
2021-03-20 16:48:27
遵循robots.txt
未知
用户代理字符串
Mozilla/5.0 (Android 7.1.2; +http://www.google.com/bot.html)
首次出现
2021-03-20 16:31:38
最后出现
2021-03-20 16:31:38
遵循robots.txt
未知
用户代理字符串
(compatible; Googlebot/2.1; +http://www.google.com/bot.html)
首次出现
2018-11-20 14:20:38
最后出现
2021-03-16 04:32:46
遵循robots.txt
未知
来源
IP地址(3) 服务器名称 所属国家
70.120.130.86 mta-70-120-130-86.satx.rr.com US
103.114.20.200 103.114.20.200 BD
45.74.75.8 45.74.75.8 CA
用户代理字符串
Mozilla/5.0(compatible;Googlebot/2.1; +http://www.google.com/bot.html)
首次出现
2019-07-25 23:16:16
最后出现
2021-03-12 11:25:41
遵循robots.txt
未知
来源
IP地址(2) 服务器名称 所属国家
49.36.129.210 49.36.129.210 IN
80.88.205.114 205.88.80.in-addr.arpa.orbital.net GB
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_1) AppleWebKit/601.2.4 (KHTML, like Gecko) Version/9.0.1 Safari/601.2.4 facebookexternalhit/1.1 Facebot Twitterbot/1.0%28KHTML%2C+like+Gecko%29+Version%2F9.0.1+Safari%2F601.2.4+facebookexternalhit%2F1.1+Facebot+Twitterbot%2F1.0
首次出现
2021-01-30 23:54:01
最后出现
2021-01-30 23:54:01
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
46.151.8.12 ip-46-151-8-12.nemiya.com RU
用户代理字符串
Mozilla/5.0 (iPhone; U; CPU iPhone 0S 3.0 like Mac 0S X; en-us; compatible; Googlebot/2.1; http://www.google.com/bot.html; AppleWebKit/528.18(KHTML,like Gecko) Version/4.0 Mobile/7A341 Safari/528.16 UNTRUSTED/1.0
首次出现
2020-12-28 03:42:52
最后出现
2020-12-28 03:42:52
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
168.235.198.52 168.235.198.52 US
用户代理字符串
Googlebot-News
首次出现
2020-12-22 05:17:05
最后出现
2020-12-22 05:17:05
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
178.158.11.254 178.158.11.254 UA
用户代理字符串
Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.135 Safari/537.36 Google-Apps-Script
首次出现
2020-12-15 13:03:46
最后出现
2020-12-15 13:03:46
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
13.233.190.194 ec2-13-233-190-194.ap-south-1.compute.amazonaws.com IN
用户代理字符串
Mozilla/1.0 (compatible; Snapbot/1.0; +http://www.snapchat.com)
首次出现
2020-12-09 05:21:07
最后出现
2020-12-09 05:21:07
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
186.167.242.184 186.167.242.184 VE
用户代理字符串
Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html)
首次出现
2017-12-27 08:15:47
最后出现
2020-11-02 06:13:01
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
219.134.150.105 219.134.150.105 CN
183.12.220.99 183.12.220.99 CN
113.118.117.131 ? CN
113.110.177.231 ? CN
113.118.119.243 ? CN
用户代理字符串
crawl-66-249-66-210.googlebot.com
首次出现
2020-10-17 04:21:00
最后出现
2020-10-17 06:08:07
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
188.83.248.45 bl18-248-45.dsl.telepac.pt PT
用户代理字符串
Mozilla/5.0 (compatible; Qwantbot/1.0; +https://qwantbot.net/)
首次出现
2020-10-12 04:39:03
最后出现
2020-10-13 21:33:07
遵循robots.txt
未知
来源
IP地址(3) 服务器名称 所属国家
51.15.183.217 dmp1.skyeris.net FR
51.15.184.112 dmp2.skyeris.net FR
51.15.184.151 dmp4.skyeris.net FR
用户代理字符串
Mozilla/5.0 (Linux; Android 4.0.2; en-us; Nexus 6 Build/JOP40D) AppleWebKit/635.19 (KHTML, like Gecko; googleweblight) Chrome/78.0.1025.162 Mobile Safari/635.19
首次出现
2020-10-12 10:27:28
最后出现
2020-10-12 10:27:28
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
185.80.140.13 185.80.140.13 YE
用户代理字符串
Mozilla/5.0(compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
首次出现
2020-09-02 07:50:54
最后出现
2020-09-26 07:32:43
遵循robots.txt
未知
用户代理字符串
Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; B; +http://yandex.com/bots) 1 readers
首次出现
2020-09-11 15:36:11
最后出现
2020-09-11 15:36:11
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
185.195.24.69 fb6.domengood.ru RU
用户代理字符串
NaverBot
首次出现
2020-09-01 19:28:26
最后出现
2020-09-01 19:28:26
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
85.159.214.184 li730-184.members.linode.com GB
用户代理字符串
DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; http://www.google.com/bot.html)
首次出现
2020-07-05 04:31:51
最后出现
2020-07-05 04:31:51
遵循robots.txt
未知
用户代理字符串
Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Maxthon/5.0 Chrome/47.0.2526.73 Safari/537.36/Mozilla/5.0 (compatible; Google-Youtube-Links)
首次出现
2020-07-03 06:42:27
最后出现
2020-07-03 07:57:45
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
41.68.84.208 41.68.84.208 EG
用户代理字符串
Baidu Spider(PC)=Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
首次出现
2020-07-01 09:22:17
最后出现
2020-07-01 09:22:17
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
125.59.201.237 cm125-59-201-237.hkcable.com.hk HK
用户代理字符串
GoogleBot
首次出现
2020-06-23 08:02:42
最后出现
2020-06-23 08:02:42
遵循robots.txt
未知
用户代理字符串
facebookscraper/1.0( http://www.facebook.com/sharescraper_help.php)
首次出现
2020-06-20 05:58:53
最后出现
2020-06-20 05:58:53
遵循robots.txt
未知
用户代理字符串
Mozilla/5.0 (iPhone; U; CPU iPhone OS) (compatible; Googlebot-Mobile/2.1; http://www.google.com/bot.html)
首次出现
2020-06-19 14:11:31
最后出现
2020-06-19 14:11:31
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
178.17.170.178 178.17.170.178 MD
用户代理字符串
Mozilla/5.0(compatible;Baiduspider/2.0;+http://www.baidu.com/search/spider.html
首次出现
2020-06-18 18:05:50
最后出现
2020-06-19 02:28:08
遵循robots.txt
未知
来源
IP地址(2) 服务器名称 所属国家
14.215.176.10 14.215.176.10 CN
14.215.176.6 14.215.176.6 CN
用户代理字符串
Mozilla/5.0(Windows NT 6.1; Googlebot/2.1
首次出现
2020-06-18 17:23:11
最后出现
2020-06-18 17:23:11
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
89.98.106.40 dhcp-089-098-106-040.chello.nl NL
用户代理字符串
Mozilla/5.0 (iPhone ; CPU iPhone OS 9_1, par exemple Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible ; AdsBot-Google-Mobile ; +http://www.google.com/mobile/adsbot.html)
首次出现
2020-06-04 09:07:53
最后出现
2020-06-04 09:07:53
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
89.39.106.97 89.39.106.97 NL
用户代理字符串
AhrefsBot
首次出现
2020-01-17 02:00:06
最后出现
2020-05-29 07:54:49
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
159.89.10.56 159.89.10.56 DE
用户代理字符串
Mozilla/5.0 (compatible; Googlebot/2.1; +BolfingUnicbot)
首次出现
2020-05-04 13:50:34
最后出现
2020-05-04 13:50:34
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
193.17.194.226 193.17.194.226 CH
用户代理字符串
Mozilla/5.0 (compatible; Googlebot/2.1; +Bolfing@Unicbot)
首次出现
2020-05-04 13:46:29
最后出现
2020-05-04 13:46:29
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
193.17.194.226 193.17.194.226 CH
用户代理字符串
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.0 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
首次出现
2020-04-26 15:46:02
最后出现
2020-04-26 15:46:02
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
188.121.15.11 cg2-gate8.net.internetunion.pl PL
用户代理字符串
YahooBot/1.0
首次出现
2020-04-19 06:50:28
最后出现
2020-04-20 11:42:32
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
77.247.109.87 77.247.109.87 EE

访问控制

了解如何控制Fake bot访问权限,避免Fake bot抓取行为不当。

是否拦截Fake bot?

可以考虑拦截。。爬虫通常会下载公开的互联网内容,这些内容默认情况下可以免费访问。不过,如果你不希望你的内容被用于未经授权的目的,你应该拦截它们。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 Fake bot 或限制其访问权限。我们建议安装 Spider Analyser 插件,以检查它是否真正遵循这些规则。

# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: Fake bot
Disallow: /

您无需手动执行此操作,可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

常见蜘蛛/爬虫

Common Spiders

相关文章

Related Articles