TU Braunschweig crawler

TU Braunschweig crawler蜘蛛/爬虫属于其他类型,由Technische Universität Braunschweig开发运行。您可以继续阅读下方信息,以深入了解TU Braunschweig crawler基本信息,用户代理和访问控制等。

基本信息

TU Braunschweig crawler的基本信息如下表。但部分不是很规范的蜘蛛和爬虫,可能存在信息不明的情况。
蜘蛛/爬虫名称
TU Braunschweig crawler
类型
其他
开发商
Technische Universität Braunschweig
当前状态
活动

用户代理

关于TU Braunschweig crawler蜘蛛或者爬虫的用户代理字符串,IP地址和服务器,所在地等信息如下表格所示:
IAS Lab crawler
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@test100k4-head-agent-1219513.ssr.ias-lab.de
首次出现
2020-11-02 06:03:13
最后出现
2020-11-02 06:03:13
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@test100k4-head-agent-1219512.ssr.ias-lab.de
首次出现
2020-11-02 06:03:07
最后出现
2020-11-02 06:03:07
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@test100k4-head-agent-1219511.ssr.ias-lab.de
首次出现
2020-11-02 06:03:01
最后出现
2020-11-02 06:03:01
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@test100k4-head-agent-1219510.ssr.ias-lab.de
首次出现
2020-11-02 06:02:54
最后出现
2020-11-02 06:02:54
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@test100k4-head-agent-1219508.ssr.ias-lab.de
首次出现
2020-11-02 06:02:40
最后出现
2020-11-02 06:02:40
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@test100k4-head-agent-1219507.ssr.ias-lab.de
首次出现
2020-11-02 06:02:32
最后出现
2020-11-02 06:02:32
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@test100k4-head-agent-1219506.ssr.ias-lab.de
首次出现
2020-11-02 06:02:26
最后出现
2020-11-02 06:02:26
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@test100k4-head-agent-1219505.ssr.ias-lab.de
首次出现
2020-11-02 06:02:19
最后出现
2020-11-02 06:02:19
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@test100k4-head-agent-1219504.ssr.ias-lab.de
首次出现
2020-11-02 06:02:11
最后出现
2020-11-02 06:02:11
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@test100k4-head-agent-1219503.ssr.ias-lab.de
首次出现
2020-11-02 06:02:05
最后出现
2020-11-02 06:02:05
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@test100k4-head-agent-1219502.ssr.ias-lab.de
首次出现
2020-11-02 06:01:59
最后出现
2020-11-02 06:01:59
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@test100k4-head-agent-1219501.ssr.ias-lab.de
首次出现
2020-11-02 06:01:52
最后出现
2020-11-02 06:01:52
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@test100k4-head-agent-1219500.ssr.ias-lab.de
首次出现
2020-11-02 06:01:45
最后出现
2020-11-02 06:01:45
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@test100k4-head-agent-1219499.ssr.ias-lab.de
首次出现
2020-11-02 06:01:38
最后出现
2020-11-02 06:01:38
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@test100k4-head-agent-1219498.ssr.ias-lab.de
首次出现
2020-11-02 06:01:32
最后出现
2020-11-02 06:01:32
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@test100k4-head-agent-1219497.ssr.ias-lab.de
首次出现
2020-11-02 06:01:26
最后出现
2020-11-02 06:01:26
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@test100k4-head-agent-1219496.ssr.ias-lab.de
首次出现
2020-11-02 06:01:18
最后出现
2020-11-02 06:01:18
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@test100k4-head-agent-1219495.ssr.ias-lab.de
首次出现
2020-11-02 06:01:11
最后出现
2020-11-02 06:01:11
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@test100k4-head-agent-1219494.ssr.ias-lab.de
首次出现
2020-11-02 06:01:04
最后出现
2020-11-02 06:01:04
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@test100k4-head-agent-1219493.ssr.ias-lab.de
首次出现
2020-11-02 06:00:56
最后出现
2020-11-02 06:00:56
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@test100k4-head-agent-1219492.ssr.ias-lab.de
首次出现
2020-11-02 06:00:48
最后出现
2020-11-02 06:00:48
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@test100k4-head-agent-1219491.ssr.ias-lab.de
首次出现
2020-11-02 06:00:43
最后出现
2020-11-02 06:00:43
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@test100k4-head-agent-1219490.ssr.ias-lab.de
首次出现
2020-11-02 06:00:35
最后出现
2020-11-02 06:00:35
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@test100k-head-agent-2254905.ssr.ias-lab.de
首次出现
2020-10-17 17:53:27
最后出现
2020-10-17 17:53:27
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@head-agent-945077.ssr.ias-lab.de
首次出现
2020-03-23 12:37:27
最后出现
2020-03-23 12:37:27
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@head-agent-945076.ssr.ias-lab.de
首次出现
2020-03-23 12:37:24
最后出现
2020-03-23 12:37:24
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@head-agent-945075.ssr.ias-lab.de
首次出现
2020-03-23 12:36:37
最后出现
2020-03-23 12:36:37
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@head-agent-945074.ssr.ias-lab.de
首次出现
2020-03-23 12:36:35
最后出现
2020-03-23 12:36:35
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@head-agent-945073.ssr.ias-lab.de
首次出现
2020-03-23 12:35:46
最后出现
2020-03-23 12:35:46
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@head-agent-945072.ssr.ias-lab.de
首次出现
2020-03-23 12:35:44
最后出现
2020-03-23 12:35:44
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@head-agent-945071.ssr.ias-lab.de
首次出现
2020-03-23 12:35:06
最后出现
2020-03-23 12:35:06
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@head-agent-945070.ssr.ias-lab.de
首次出现
2020-03-23 12:34:26
最后出现
2020-03-23 12:34:26
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@head-agent-945069.ssr.ias-lab.de
首次出现
2020-03-23 12:33:49
最后出现
2020-03-23 12:33:49
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@head-agent-945068.ssr.ias-lab.de
首次出现
2020-03-23 12:33:12
最后出现
2020-03-23 12:33:12
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@head-agent-945067.ssr.ias-lab.de
首次出现
2020-03-23 12:32:32
最后出现
2020-03-23 12:32:32
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@head-agent-945066.ssr.ias-lab.de
首次出现
2020-03-23 12:31:52
最后出现
2020-03-23 12:31:52
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@head-agent-945065.ssr.ias-lab.de
首次出现
2020-03-23 12:31:13
最后出现
2020-03-23 12:31:13
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@head-agent-671651.ssr.ias-lab.de
首次出现
2020-03-19 19:16:39
最后出现
2020-03-19 19:16:39
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@head-agent-671650.ssr.ias-lab.de
首次出现
2020-03-19 19:16:21
最后出现
2020-03-19 19:16:21
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@head-agent-671649.ssr.ias-lab.de
首次出现
2020-03-19 19:16:14
最后出现
2020-03-19 19:16:14
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@head-agent-671648.ssr.ias-lab.de
首次出现
2020-03-19 19:16:02
最后出现
2020-03-19 19:16:02
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@head-agent-671647.ssr.ias-lab.de
首次出现
2020-03-19 19:15:47
最后出现
2020-03-19 19:15:47
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@head-agent-671646.ssr.ias-lab.de
首次出现
2020-03-19 19:15:40
最后出现
2020-03-19 19:15:40
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@head-agent-671645.ssr.ias-lab.de
首次出现
2020-03-19 19:15:32
最后出现
2020-03-19 19:15:32
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@head-agent-61464.ssr.ias-lab.de
首次出现
2020-03-12 11:34:21
最后出现
2020-03-12 11:34:21
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@head-agent-39002.ssr.ias-lab.de
首次出现
2020-03-12 04:41:07
最后出现
2020-03-12 04:41:07
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE
用户代理字符串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 root@head-agent-39002.ssr.ias-lab.de
首次出现
2020-03-12 04:41:07
最后出现
2020-03-12 04:41:07
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
134.169.32.26 abel.ips.cs.tu-bs.de DE

访问控制

了解如何控制TU Braunschweig crawler访问权限,避免TU Braunschweig crawler抓取行为不当。

是否拦截TU Braunschweig crawler?

对于未知蜘蛛或者爬虫。它的用途对网站来说可能是好的,也可能是坏的,这取决于它是什么。所以说,这需要站长进一步分析判断这些尚不明确的爬虫行为,再作最终决定。 但,根据以往的经验,未声明行为目的及未命名的蜘蛛爬虫,通常都有不可告人的秘密,我们理应对其行为进行控制,比如拦截。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 TU Braunschweig crawler 或限制其访问权限。我们建议安装 Spider Analyser 插件,以检查它是否真正遵循这些规则。

	# robots.txt
	# 下列代码一般情况可以拦截该代理
	
	User-agent: TU Braunschweig crawler
	Disallow: /

您无需手动执行此操作,可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

常见蜘蛛/爬虫

Common Spiders
companyspotter
companyspotter蜘蛛/爬虫属于其他类型,由CompanySpotter BV开发运行。您可以继续阅读下方信息,以深入了解companyspotter基本信息,用户代理和访问控制等。
DataForSeo bot
DataForSeo bot蜘蛛/爬虫属于其他类型,由DataForSEO OU开发运行。您可以继续阅读下方信息,以深入了解DataForSeo bot基本信息,用户代理和访问控制等。
CloudFlare crawler
CloudFlare crawler蜘蛛/爬虫属于其他类型,由CloudFlare, Inc.开发运行。您可以继续阅读下方信息,以深入了解CloudFlare crawler基本信息,用户代理和访问控制等。
Odin
Odin蜘蛛/爬虫属于其他类型,由Cyble, Inc.开发运行。您可以继续阅读下方信息,以深入了解Odin基本信息,用户代理和访问控制等。
Chrome Privacy Preserving Prefetch Proxy
Chrome Privacy Preserving Prefetch Proxy蜘蛛/爬虫属于其他类型,由Google Inc.开发运行。您可以继续阅读下方信息,以深入了解Chrome Privacy Preserving Prefetch Proxy基本信息,用户代理和访问控制等。
EFF crawler
EFF crawler蜘蛛/爬虫属于其他类型,由Electronic Frontier Foundation开发运行。您可以继续阅读下方信息,以深入了解EFF crawler基本信息,用户代理和访问控制等。
Modat crawler
Modat crawler蜘蛛/爬虫属于其他类型,由Modat B.V.开发运行。您可以继续阅读下方信息,以深入了解Modat crawler基本信息,用户代理和访问控制等。
FirmoGraph
FirmoGraph蜘蛛/爬虫属于其他类型,由firmograph.io开发运行。您可以继续阅读下方信息,以深入了解FirmoGraph基本信息,用户代理和访问控制等。

相关文章

Related Articles