如何做搜索引擎蜘蛛日志分析
搜索引擎蜘蛛日志文件是一种非常强大但未被站长充分利用的文件，分析它可以获取有关每个搜索引擎如何爬取网站内容的相关信息点，及查看搜索引擎蜘蛛在一段时间内的行为。
| IP地址(10) | 服务器名称 | 所属国家 |
|---|---|---|
| 95.216.155.107 | static.107.155.216.95.clients.your-server.de | FI |
| 65.21.60.220 | static.220.60.21.65.clients.your-server.de | FI |
| 111.13.63.101 | 111.13.63.101 | CN |
| 118.194.234.87 | 118.194.234.87 | SG |
| 23.91.97.30 | 23.91.97.30 | HK |
| IP地址(10) | 服务器名称 | 所属国家 |
|---|---|---|
| 188.146.96.231 | 188.146.96.231.nat.umts.dynamic.t-mobile.pl | PL |
| 45.76.120.93 | 45.76.120.93.vultr.com | AU |
| 52.28.3.120 | ec2-52-28-3-120.eu-central-1.compute.amazonaws.com | DE |
| 18.194.222.6 | ec2-18-194-222-6.eu-central-1.compute.amazonaws.com | DE |
| 52.28.232.51 | ec2-52-28-232-51.eu-central-1.compute.amazonaws.com | DE |
| IP地址(4) | 服务器名称 | 所属国家 |
|---|---|---|
| 13.211.80.122 | ec2-13-211-80-122.ap-southeast-2.compute.amazonaws.com | AU |
| 13.238.200.198 | ec2-13-238-200-198.ap-southeast-2.compute.amazonaws.com | AU |
| 52.65.190.213 | ec2-52-65-190-213.ap-southeast-2.compute.amazonaws.com | AU |
| 13.211.128.56 | ec2-13-211-128-56.ap-southeast-2.compute.amazonaws.com | AU |
| IP地址(7) | 服务器名称 | 所属国家 |
|---|---|---|
| 13.211.157.43 | ec2-13-211-157-43.ap-southeast-2.compute.amazonaws.com | AU |
| 54.206.39.12 | ec2-54-206-39-12.ap-southeast-2.compute.amazonaws.com | AU |
| 13.236.6.120 | ec2-13-236-6-120.ap-southeast-2.compute.amazonaws.com | AU |
| 13.210.49.190 | ec2-13-210-49-190.ap-southeast-2.compute.amazonaws.com | AU |
| 13.210.72.243 | ec2-13-210-72-243.ap-southeast-2.compute.amazonaws.com | AU |
| IP地址(1) | 服务器名称 | 所属国家 |
|---|---|---|
| 52.74.22.169 | ec2-52-74-22-169.ap-southeast-1.compute.amazonaws.com | SG |
| IP地址(69) | 服务器名称 | 所属国家 |
|---|---|---|
| 35.206.147.48 | 48.147.206.35.bc.googleusercontent.com | US |
| 35.210.4.104 | 104.4.210.35.bc.googleusercontent.com | BE |
| 35.206.158.187 | 187.158.206.35.bc.googleusercontent.com | BE |
| 35.210.207.166 | 166.207.210.35.bc.googleusercontent.com | US |
| 116.203.34.37 | static.37.34.203.116.clients.your-server.de | DE |
| IP地址(2) | 服务器名称 | 所属国家 |
|---|---|---|
| 104.152.208.185 | ? | CA |
| 104.223.3.21 | ? | US |
可能不需要。工具类型爬虫通常为网站所有者使用此类工具对网站进行相关服务请求才会出现。当然，实际情况需站长判断后再作决定。
您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 Wappalyzer 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。
# robots.txt # 下列代码一般情况可以拦截该代理 User-agent: Wappalyzer Disallow: /
您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。
Wappalyzer旨在帮助技术人员找出任何网站的技术栈。创建使用某些技术的网站清单，并附上公司和联系细节。使用我们的工具来创造商机，进行市场分析和竞争者研究。
Wappalyzer既然需要挖掘网站所使用的技术栈，自然需要利用爬虫技术对网站前端代码进行分析。
如果您看到与上方Useragent或者IP地址信息，则可以断定是某人通过Wappalyzer浏览器扩展分析您的网站，无需大惊小怪。
