如何做搜索引擎蜘蛛日志分析
搜索引擎蜘蛛日志文件是一种非常强大但未被站长充分利用的文件,分析它可以获取有关每个搜索引擎如何爬取网站内容的相关信息点,及查看搜索引擎蜘蛛在一段时间内的行为。
| IP地址(1) | 服务器名称 | 所属国家 |
|---|---|---|
| 94.130.15.147 | static.147.15.130.94.clients.your-server.de | DE |
| IP地址(4) | 服务器名称 | 所属国家 |
|---|---|---|
| 116.203.217.7 | 116.203.217.7 | DE |
| 78.47.24.231 | static.231.24.47.78.clients.your-server.de | DE |
| 116.203.126.25 | static.25.126.203.116.clients.your-server.de | DE |
| 144.76.94.114 | static.114.94.76.144.clients.your-server.de | DE |
| IP地址(1) | 服务器名称 | 所属国家 |
|---|---|---|
| 144.76.94.114 | static.114.94.76.144.clients.your-server.de | DE |
| IP地址(16) | 服务器名称 | 所属国家 |
|---|---|---|
| 88.99.144.159 | ? | DE |
| 94.130.67.180 | ? | DE |
| 138.201.31.160 | ? | DE |
| 213.239.217.85 | static.213-239-217-85.clients.your-server.de | DE |
| 78.46.46.248 | ? | DE |
| IP地址(4) | 服务器名称 | 所属国家 |
|---|---|---|
| 88.99.148.110 | ? | DE |
| 176.9.77.78 | ? | DE |
| 144.76.95.24 | static.24.95.76.144.clients.your-server.de | DE |
| 136.243.1.83 | static.83.1.243.136.clients.your-server.de | DE |
| IP地址(1) | 服务器名称 | 所属国家 |
|---|---|---|
| 136.243.1.83 | static.83.1.243.136.clients.your-server.de | DE |
| IP地址(27) | 服务器名称 | 所属国家 |
|---|---|---|
| 144.76.95.24 | static.24.95.76.144.clients.your-server.de | DE |
| 176.9.63.54 | static.54.63.9.176.clients.your-server.de | DE |
| 144.76.78.196 | static.196.78.76.144.clients.your-server.de | DE |
| 136.243.1.83 | static.83.1.243.136.clients.your-server.de | DE |
| 144.76.78.198 | static.198.78.76.144.clients.your-server.de | DE |
| IP地址(1) | 服务器名称 | 所属国家 |
|---|---|---|
| 144.76.78.197 | static.197.78.76.144.clients.your-server.de | DE |
一般不需要拦截,尤其是如果你自己也受益于搜索引擎优化服务。不过,如果你担心服务器资源占用等问题,且您都不使用这些工具,当然也可以选择拦截它们。
您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 uMBot 或限制其访问权限。我们建议安装 Spider Analyser 插件,以检查它是否真正遵循这些规则。
# robots.txt # 下列代码一般情况可以拦截该代理 User-agent: uMBot Disallow: /
您无需手动执行此操作,可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。
Ubermetrics是营销和公关专家的领先的内容智能平台。Ubermetrics的内容智能平台是一种人工智能驱动的技术,把公共内容转化为有意义的见解,以实现有效的内容驱动的传播战略。通过Ubermetrics,数字传播者可以发现、研究、分析和优化内容和趋势,最大限度地提高传播效果和投资回报率。
Ubermetrics平台每分钟处理超过4.6亿个来源的50,000个内容。我们先进的人工智能、计量学和文本挖掘分析使数字传播专家能够发现相关的主题、趋势、影响者和渠道,推动成功的内容战略真正与利益相关群体产生共鸣。
在Ubermetrics,我们都热爱沟通,并热衷于为我们的客户制造完美的产品,为他们的沟通工作提供动力。我们的团队是我们产品的核心 – 这就是为什么我们重视对彼此的投资。我们通过支持多样性、开放、诚实、包容以及我们的日常工作来做到这一点。
Ubermetrics在德国柏林和美国旧金山设有办事处。Ubermetrics与宝马、Word Health Summit、Fink & Fuchs和RCI Banque等客户在三大洲合作。