Bingbot

Bingbot蜘蛛/爬虫属于搜索引擎类型,由Microsoft Corporation.开发运行。您可以继续阅读下方信息,以深入了解Bingbot基本信息,用户代理和访问控制等。

基本信息

Bingbot的基本信息如下表。但部分不是很规范的蜘蛛和爬虫,可能存在信息不明的情况。
蜘蛛/爬虫名称
Bingbot
类型
搜索引擎 , 快照 , 营销 , 工具
开发商
Microsoft Corporation.
当前状态
活动

用户代理

关于Bingbot蜘蛛或者爬虫的用户代理字符串,IP地址和服务器,所在地等信息如下表格所示:
MSNBot/1.0
用户代理字符串
msnbot/1.0 (+http://search.msn.com/msnbot.htm)
首次出现
2009-05-11 05:50:00
最后出现
2024-12-08 04:44:30
遵循robots.txt
未知
来源
IP地址(18) 服务器名称 所属国家
65.55.210.188 msnbot-65-55-210-188.search.msn.com US
65.55.25.147 msnbot-65-55-25-147.search.msn.com US
65.55.231.7 msnbot-65-55-231-7.search.msn.com US
65.55.210.205 msnbot-65-55-210-205.search.msn.com US
65.55.210.197 msnbot-65-55-210-197.search.msn.com US
用户代理字符串
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534+ (KHTML, like Gecko) MsnBot-Media /1.0b
首次出现
2015-12-15 08:49:58
最后出现
2024-12-07 07:29:58
遵循robots.txt
未知
来源
IP地址(11) 服务器名称 所属国家
65.55.210.15 msnbot-65-55-210-15.search.msn.com US
65.55.210.86 msnbot-65-55-210-86.search.msn.com US
199.30.24.239 msnbot-199-30-24-239.search.msn.com US
65.55.210.78 msnbot-65-55-210-78.search.msn.com US
65.55.210.28 msnbot-65-55-210-28.search.msn.com US
用户代理字符串
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; MicrosoftPreview/2.0; +https://aka.ms/MicrosoftPreview) Chrome/100.0.4896.127 Safari/537.36
首次出现
2022-11-28 04:22:43
最后出现
2024-11-07 05:01:17
遵循robots.txt
未知
来源
IP地址(27) 服务器名称 所属国家
40.77.167.15 msnbot-40-77-167-15.search.msn.com US
40.77.167.225 msnbot-40-77-167-225.search.msn.com US
用户代理字符串
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/103.0.5060.134 Safari/537.36
首次出现
2022-07-28 00:39:06
最后出现
2022-09-06 05:12:13
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
40.77.167.66 msnbot-40-77-167-66.search.msn.com US
40.77.167.80 msnbot-40-77-167-80.search.msn.com US
157.55.39.49 msnbot-157-55-39-49.search.msn.com ?
207.46.13.96 msnbot-207-46-13-96.search.msn.com US
157.55.39.163 msnbot-157-55-39-163.search.msn.com US
用户代理字符串
Mozilla/5.0 (iPhone; CPU iPhone OS 7_0 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11A465 Safari/9537.53 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
首次出现
2015-01-29 04:28:48
最后出现
2022-09-02 19:27:51
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
207.46.13.20 msnbot-207-46-13-20.search.msn.com US
157.55.39.219 msnbot-157-55-39-219.search.msn.com US
40.77.167.66 msnbot-40-77-167-66.search.msn.com US
157.55.39.163 msnbot-157-55-39-163.search.msn.com US
40.77.167.80 msnbot-40-77-167-80.search.msn.com US
用户代理字符串
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/100.0.4896.127 Safari/537.36
首次出现
2022-05-04 05:01:15
最后出现
2022-08-01 05:23:45
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
40.77.167.42 msnbot-40-77-167-42.search.msn.com US
207.46.13.173 msnbot-207-46-13-173.search.msn.com US
207.46.13.135 msnbot-207-46-13-135.search.msn.com US
157.55.39.158 msnbot-157-55-39-158.search.msn.com US
40.77.167.22 msnbot-40-77-167-22.search.msn.com US
用户代理字符串
Mozilla/5.0 (iPhone; CPU iPhone OS 7_0 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11A465 Safari/9537.53 BingPreview/1.0b
首次出现
2015-11-23 10:28:46
最后出现
2022-07-31 05:14:50
遵循robots.txt
来源
IP地址(10) 服务器名称 所属国家
40.77.191.252 msnbot-40-77-191-252.search.msn.com US
40.77.190.237 ? US
40.77.188.234 msnbot-40-77-188-234.search.msn.com US
40.77.189.220 ? US
40.77.188.69 ? US
用户代理字符串
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/98.0.4758.102 Safari/537.36
首次出现
2022-03-03 01:01:46
最后出现
2022-05-03 08:36:29
遵循robots.txt
未知
用户代理字符串
msnbot/1.1 (+http://search.msn.com/msnbot.htm)
首次出现
2009-05-11 05:50:00
最后出现
2021-01-11 20:13:15
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
65.55.209.193 msnbot-65-55-209-193.search.msn.com US
65.55.104.154 65.55.104.154 US
65.55.208.21 msnbot-65-55-208-21.search.msn.com US
65.55.208.20 msnbot-65-55-208-20.search.msn.com US
65.55.208.13 msnbot-65-55-208-13.search.msn.com US
用户代理字符串
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/86.0.4240.68 Safari/537.36 Edg/86.0.622.31
首次出现
2020-10-26 09:27:22
最后出现
2020-10-26 09:27:22
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
40.77.191.149 msnbot-40-77-191-149.search.msn.com US
用户代理字符串
Mozilla/5.0 (compatible; bingbot/2.0; http://www.bing.com/bingbot.htm)
首次出现
2015-01-28 14:00:12
最后出现
2020-05-11 12:07:39
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
157.55.39.102 msnbot-157-55-39-102.search.msn.com US
157.55.39.34 msnbot-157-55-39-34.search.msn.com US
207.46.13.236 msnbot-207-46-13-236.search.msn.com US
157.55.39.192 msnbot-157-55-39-192.search.msn.com US
157.55.39.24 msnbot-157-55-39-24.search.msn.com US
用户代理字符串
msnbot/2.0b ( http://search.msn.com/msnbot.htm)
首次出现
2019-10-10 23:52:44
最后出现
2020-04-29 02:23:22
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
40.77.167.115 msnbot-40-77-167-115.search.msn.com US
40.77.167.166 msnbot-40-77-167-166.search.msn.com US
157.55.39.69 msnbot-157-55-39-69.search.msn.com US
157.55.39.230 msnbot-157-55-39-230.search.msn.com US
40.77.167.102 msnbot-40-77-167-102.search.msn.com US
用户代理字符串
msnbot-media/1.1 (+http://search.msn.com/msnbot.htm)
首次出现
2009-05-11 05:50:00
最后出现
2020-01-30 20:54:06
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
65.55.231.51 65.55.231.51 US
157.55.39.40 msnbot-157-55-39-40.search.msn.com US
157.55.39.49 msnbot-157-55-39-49.search.msn.com US
157.55.39.179 msnbot-157-55-39-179.search.msn.com US
157.55.39.161 msnbot-157-55-39-161.search.msn.com US
用户代理字符串
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Safari/537.36
首次出现
2019-08-07 08:12:51
最后出现
2019-10-29 19:21:30
遵循robots.txt
未知
来源
IP地址(9) 服务器名称 所属国家
40.77.191.205 msnbot-40-77-191-205.search.msn.com US
40.77.191.182 msnbot-40-77-191-182.search.msn.com US
40.77.191.200 msnbot-40-77-191-200.search.msn.com US
40.77.191.187 msnbot-40-77-191-187.search.msn.com US
40.77.191.197 msnbot-40-77-191-197.search.msn.com US
用户代理字符串
Mozilla/5.0 (seoanalyzer; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
首次出现
2014-07-01 14:16:33
最后出现
2019-09-13 19:23:03
遵循robots.txt
来源
IP地址(3) 服务器名称 所属国家
40.91.123.94 ? US
20.36.220.207 ? US
131.253.24.2 msnbot-131-253-24-2.search.msn.com US
用户代理字符串
Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0; BingPreview/1.0b) like Gecko
首次出现
2016-02-12 04:48:08
最后出现
2018-10-09 16:58:35
遵循robots.txt
未知
来源
IP地址(4) 服务器名称 所属国家
40.77.194.251 msnbot-40-77-194-251.search.msn.com HK
65.55.210.22 msnbot-65-55-210-22.search.msn.com US
131.253.27.111 msnbot-131-253-27-111.search.msn.com US
65.55.210.79 msnbot-65-55-210-79.search.msn.com US
用户代理字符串
msnbot/2.0b (+http://search.msn.com/msnbot.htm)._
首次出现
2010-10-10 18:52:07
最后出现
2018-01-22 16:44:31
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
157.55.39.86 msnbot-157-55-39-86.search.msn.com US
65.55.25.151 msnbot-65-55-25-151.search.msn.com US
65.55.3.172 msnbot-65-55-3-172.search.msn.com US
65.55.3.175 msnbot-65-55-3-175.search.msn.com US
157.55.116.65 msnbot-157-55-116-65.search.msn.com US
用户代理字符串
Mozilla/5.0 (iPhone; CPU iPhone OS 7_0 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11A465 Safari/9537.53 (compatible; bingbot/2.0; http://www.bing.com/bingbot.htm)
首次出现
2015-02-20 08:24:16
最后出现
2017-01-17 08:32:03
遵循robots.txt
来源
IP地址(10) 服务器名称 所属国家
207.46.13.72 msnbot-207-46-13-72.search.msn.com US
157.55.39.110 msnbot-157-55-39-110.search.msn.com US
157.55.39.141 msnbot-157-55-39-141.search.msn.com US
207.46.13.12 msnbot-207-46-13-12.search.msn.com US
207.46.13.157 msnbot-207-46-13-157.search.msn.com US
用户代理字符串
Mozilla/5.0 (Windows NT 6.3; Trident/7.0; rv:11.0) like Gecko BingPreview/1.0b
首次出现
2016-10-25 16:30:20
最后出现
2016-10-25 16:30:20
遵循robots.txt
未知
来源
IP地址(2) 服务器名称 所属国家
40.77.167.62 msnbot-40-77-167-62.search.msn.com US
40.77.167.49 msnbot-40-77-167-49.search.msn.com US
用户代理字符串
Mozilla/5.0 (iPhone; CPU iPhone OS 7_0 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11A465 Safari/9537.53 (compatible; adidxbot/2.0; +http://www.bing.com/bingbot.htm)
首次出现
2016-06-21 10:05:00
最后出现
2016-06-27 11:57:50
遵循robots.txt
未知
来源
IP地址(7) 服务器名称 所属国家
157.55.39.149 msnbot-157-55-39-149.search.msn.com US
207.46.13.12 msnbot-207-46-13-12.search.msn.com US
40.77.167.105 msnbot-40-77-167-105.search.msn.com US
40.77.167.20 msnbot-40-77-167-20.search.msn.com US
40.77.167.64 msnbot-40-77-167-64.search.msn.com US
用户代理字符串
Mozilla/5.0 (iPhone; CPU iPhone OS 7_0 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11A465 Safari/9537.53 (compatible; adidxbot/2.0; http://www.bing.com/bingbot.htm)
首次出现
2016-02-14 16:07:48
最后出现
2016-04-14 14:09:40
遵循robots.txt
未知
来源
IP地址(2) 服务器名称 所属国家
157.55.39.82 msnbot-157-55-39-82.search.msn.com US
207.46.13.171 msnbot-207-46-13-171.search.msn.com US
用户代理字符串
Mozilla/5.0 (compatible; adidxbot/2.0; http://www.bing.com/bingbot.htm)
首次出现
2015-10-23 14:24:08
最后出现
2016-04-12 13:24:51
遵循robots.txt
未知
来源
IP地址(2) 服务器名称 所属国家
157.55.39.5 msnbot-157-55-39-5.search.msn.com US
207.46.13.36 msnbot-207-46-13-36.search.msn.com US
用户代理字符串
Mozilla/5.0 (Windows Phone 8.1; ARM; Trident/7.0; Touch; rv:11.0; IEMobile/11.0; NOKIA; Lumia 530) like Gecko (compatible; adidxbot/2.0; +http://www.bing.com/bingbot.htm)
首次出现
2015-12-11 11:11:11
最后出现
2016-01-07 11:21:41
遵循robots.txt
未知
用户代理字符串
msnbot-UDiscovery/2.0b (+http://search.msn.com/msnbot.htm)
首次出现
2011-05-31 18:19:52
最后出现
2015-05-21 03:24:20
遵循robots.txt
未知
来源
IP地址(4) 服务器名称 所属国家
157.55.36.139 msnbot-157-55-36-139.search.msn.com US
157.56.4.187 msnbot-157-56-4-187.search.msn.com US
157.56.5.147 msnbot-157-56-5-147.search.msn.com US
65.55.219.91 msnbot-65-55-219-91.search.msn.com US
用户代理字符串
msnbot-media/2.0b (+http://search.msn.com/msnbot.htm)
首次出现
2013-11-04 08:30:00
最后出现
2015-01-21 15:59:02
遵循robots.txt
未知
来源
IP地址(7) 服务器名称 所属国家
65.52.104.213 msnbot-65-52-104-213.search.msn.com US
65.52.104.214 msnbot-65-52-104-214.search.msn.com US
65.52.104.215 msnbot-65-52-104-215.search.msn.com US
65.52.104.216 msnbot-65-52-104-216.search.msn.com US
65.55.215.111 msnbot-65-55-215-111.search.msn.com US
用户代理字符串
msnbot-NewsBlogs/2.0b (+http://search.msn.com/msnbot.htm)
首次出现
2011-03-23 21:10:33
最后出现
2014-09-17 07:45:53
遵循robots.txt
未知
来源
IP地址(38) 服务器名称 所属国家
157.55.37.154 msnbot-157-55-37-154.search.msn.com US
207.46.193.77 msnbot-207-46-193-77.search.msn.com US
131.253.26.102 msnbot-131-253-26-102.search.msn.com US
65.52.110.239 msnbot-65-52-110-239.search.msn.com US
157.55.38.140 msnbot-157-55-38-140.search.msn.com US
用户代理字符串
Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm
首次出现
2012-09-06 11:40:59
最后出现
2014-06-13 00:52:46
遵循robots.txt
来源
IP地址(1393) 服务器名称 所属国家
157.55.39.210 msnbot-157-55-39-210.search.msn.com US
40.77.167.3 msnbot-40-77-167-3.search.msn.com US
40.77.167.105 msnbot-40-77-167-105.search.msn.com US
40.77.167.80 msnbot-40-77-167-80.search.msn.com US
207.46.13.233 msnbot-207-46-13-233.search.msn.com US
用户代理字符串
Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm
首次出现
2012-09-06 11:40:59
最后出现
2014-06-13 00:52:46
遵循robots.txt
来源
IP地址(2) 服务器名称 所属国家
78.25.25.153 78-25-25-153.static.vega-ua.net UA
157.55.35.36 msnbot-157-55-35-36.search.msn.com US
用户代理字符串
Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0; WOW64; Trident/5.0; BingPreview/1.0b)
首次出现
2015-12-28 07:19:20
最后出现
2014-02-04 07:51:20
遵循robots.txt
未知
来源
IP地址(3) 服务器名称 所属国家
199.30.24.105 msnbot-199-30-24-105.search.msn.com US
199.30.25.107 msnbot-199-30-25-107.search.msn.com US
199.30.24.219 msnbot-199-30-24-219.search.msn.com US
用户代理字符串
Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; Trident/6.0; WOW64; Trident/6.0; BingPreview/1.0b)
首次出现
2014-02-02 07:52:26
最后出现
2014-02-02 07:52:26
遵循robots.txt
来源
IP地址(569) 服务器名称 所属国家
40.77.189.223 msnbot-40-77-189-223.search.msn.com US
40.77.188.16 msnbot-40-77-188-16.search.msn.com US
40.77.190.45 msnbot-40-77-190-45.search.msn.com US
40.77.190.140 msnbot-40-77-190-140.search.msn.com US
40.77.190.132 msnbot-40-77-190-132.search.msn.com US
用户代理字符串
Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; Trident/6.0; WOW64; Trident/6.0; BingPreview/1.0b)
首次出现
2014-02-02 07:52:26
最后出现
2014-02-02 07:52:26
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
199.30.26.160 msnbot-199-30-26-160.search.msn.com US
用户代理字符串
adidxbot/2.0 (+http://search.msn.com/msnbot.htm)
首次出现
2013-12-07 10:10:00
最后出现
2013-12-29 11:48:02
遵循robots.txt
未知
来源
IP地址(31) 服务器名称 所属国家
157.55.39.8 msnbot-157-55-39-8.search.msn.com US
40.77.167.79 msnbot-40-77-167-79.search.msn.com US
40.77.190.73 msnbot-40-77-190-73.search.msn.com US
40.77.167.80 msnbot-40-77-167-80.search.msn.com US
207.46.13.129 msnbot-207-46-13-129.search.msn.com US
用户代理字符串
adidxbot/2.0 (+http://search.msn.com/msnbot.htm)
首次出现
2013-12-07 10:10:00
最后出现
2013-12-29 11:48:02
遵循robots.txt
未知
来源
IP地址(2) 服务器名称 所属国家
157.56.92.147 msnbot-157-56-92-147.search.msn.com US
65.55.24.221 msnbot-65-55-24-221.search.msn.com US
用户代理字符串
Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) SitemapProbe
首次出现
2013-03-11 21:31:10
最后出现
2013-03-20 05:22:34
遵循robots.txt
未知
来源
IP地址(5) 服务器名称 所属国家
65.55.213.244 msnbot-65-55-213-244.search.msn.com US
65.55.213.245 msnbot-65-55-213-245.search.msn.com US
65.55.213.241 msnbot-65-55-213-241.search.msn.com US
65.55.213.193 msnbot-65-55-213-193.search.msn.com US
65.55.213.243 msnbot-65-55-213-243.search.msn.com US
用户代理字符串
Mozilla/5.0 (compatible; bot/2.0; +http://www.bing.com/bingbot.htm)
首次出现
2015-12-19 09:53:18
最后出现
2012-06-04 09:57:30
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
207.46.13.143 msnbot-207-46-13-143.search.msn.com US
用户代理字符串
msnbot/2.0b (+http://search.msn.com/msnbot.htm).
首次出现
2010-07-10 18:10:47
最后出现
2010-05-18 23:09:59
遵循robots.txt
未知
来源
IP地址(99) 服务器名称 所属国家
65.55.106.157 msnbot-65-55-106-157.search.msn.com US
40.77.167.100 msnbot-40-77-167-100.search.msn.com US
157.55.39.162 msnbot-157-55-39-162.search.msn.com US
157.55.39.85 msnbot-157-55-39-85.search.msn.com US
157.55.39.58 msnbot-157-55-39-58.search.msn.com US
用户代理字符串
msnbot/2.0b (+http://search.msn.com/msnbot.htm).
首次出现
2010-07-10 18:10:47
最后出现
2010-05-18 23:09:59
遵循robots.txt
未知
来源
IP地址(6) 服务器名称 所属国家
65.55.209.1 msnbot-65-55-209-1.search.msn.com US
65.55.208.118 msnbot-65-55-208-118.search.msn.com US
65.55.208.114 msnbot-65-55-208-114.search.msn.com US
65.55.3.170 msnbot-65-55-3-170.search.msn.com US
65.55.208.16 msnbot-65-55-208-16.search.msn.com US
用户代理字符串
adidxbot/1.1 (+http://search.msn.com/msnbot.htm)
首次出现
2009-06-13 01:40:28
最后出现
2009-06-13 01:40:28
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
65.55.214.149 msnbot-65-55-214-149.search.msn.com US
用户代理字符串
msnbot-media/1.0 (+http://search.msn.com/msnbot.htm)
首次出现
2007-10-05 14:12:35
最后出现
2008-10-06 19:45:06
遵循robots.txt
未知
来源
IP地址(2) 服务器名称 所属国家
65.55.213.7 msnbot-65-55-213-7.search.msn.com US
65.55.212.97 msnbot-65-55-212-97.search.msn.com US

访问控制

了解如何控制Bingbot访问权限,避免Bingbot抓取行为不当。

是否拦截Bingbot?

一般不要拦截。搜索引擎爬虫为搜索引擎提供动力,是用户发现您网站的有效途径。事实上,拦截搜索引擎爬虫可能会严重减少网站的自然流量。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 Bingbot 或限制其访问权限。我们建议安装 Spider Analyser 插件,以检查它是否真正遵循这些规则。

# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: Bingbot
Disallow: /

您无需手动执行此操作,可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

更多信息

必应目前运营着四个主要的爬虫:Bingbot、AdIdxBot、BingPreview和MicrosoftPreview,其中最为常见的是Bingbot:

爬虫 角色 用户代理字符串
Bingbot Bingbot 是必应的标准爬虫,每天处理必应的大部分爬行需求。必应机器人使用不同类型的用户代理字符串。 Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
必应会定期将网页渲染引擎更新到最新的稳定版本的 Microsoft Edge。因此,“W.X.Y.Z”将被替换为必应使用的最新Microsoft Edge版本,例如“80.0.345.0”。
AdIdxBot AdIdxBot是Bing Ads使用的抓取工具。AdIdxBot 抓取广告并跟踪这些广告中的网站以进行质量控制。就像Bingbot一样,AdIdxBot有“desktop”和“mobile”变体。 Mozilla/5.0 (compatible; adidxbot/2.0; +http://www.bing.com/bingbot.htm)
Mozilla/5.0 (iPhone; CPU iPhone OS 7_0 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11A465 Safari/9537.53 (compatible; adidxbot/2.0; +http://www.bing.com/bingbot.htm)
Mozilla/5.0 (Windows Phone 8.1; ARM; Trident/7.0; Touch; rv:11.0; IEMobile/11.0; NOKIA; Lumia 530) like Gecko (compatible; adidxbot/2.0; +http://www.bing.com/bingbot.htm)
BingPreview BingPreview为必应生成页面快照。您可以在这里找到有关必应预览的更多详细信息。请注意,BingPreview具有“desktop”和“mobile”变体。 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
MicrosoftPreview MicrosoftPreview 为 Microsoft 产品生成页面快照。请注意,MicrosoftPreview有“desktop”和“mobile”变体。 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; MicrosoftPreview/2.0; +https://aka.ms/MicrosoftPreview) Chrome/W.X.Y.Z Safari/537.36
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; MicrosoftPreview/2.0; +https://aka.ms/MicrosoftPreview)

验证真伪

您可以使用用户代理字符串识别必应爬网程序。但用户代理字符串很容易被欺骗,因此并非每个具有这些用户代理字符串的请求都可能来自真正的必应爬网程序。通常,必应不共享我们从中抓取网络的 IP 地址,但您始终可以使用验证必应机器人工具来检查爬网程序是否属于必应。又或者通过闪电博的蜘蛛爬虫查询工具或者WordPress插件Spider Analyser来识别其真伪。

控制爬网和爬网速率

要控制我们的抓取工具与您的网站的互动方式,您有两种选择:

  • Robots.txt文件可以配置为告诉必应抓取工具如何与您的网站交互。
  • 必应网站站长工具允许您使用爬网控件工具。

常见蜘蛛/爬虫

Common Spiders

相关文章

Related Articles