
如何做搜索引擎蜘蛛日志分析
搜索引擎蜘蛛日志文件是一种非常强大但未被站长充分利用的文件,分析它可以获取有关每个搜索引擎如何爬取网站内容的相关信息点,及查看搜索引擎蜘蛛在一段时间内的行为。
IP地址(30) | 服务器名称 | 所属国家 |
---|---|---|
121.138.83.147 | 121.138.83.147 | KR |
88.34.126.169 | host169-126-static.34-88-b.business.telecomitalia.it | IT |
79.3.199.89 | host89-199-static.3-79-b.business.telecomitalia.it | IT |
220.92.153.250 | ? | KR |
37.205.207.125 | host-37-205-207-125.business.telecomitalia.it | IT |
85.33.36.165 | host165-36-static.33-85-b.business.telecomitalia.it | IT |
62.86.6.98 | host98-6-static.86-62-b.business.telecomitalia.it | IT |
195.223.173.102 | host102-173-static.223-195-b.business.telecomitalia.it | IT |
88.44.33.170 | host170-33-static.44-88-b.business.telecomitalia.it | IT |
88.61.0.93 | host93-0-static.61-88-b.business.telecomitalia.it | IT |
可以考虑拦截。。爬虫通常会下载公开的互联网内容,这些内容默认情况下可以免费访问。不过,如果你不希望你的内容被用于未经授权的目的,你应该拦截它们。
您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 dark_NeXus_Qbot 或限制其访问权限。我们建议安装 Spider Analyser 插件,以检查它是否真正遵循这些规则。
# robots.txt # 下列代码一般情况可以拦截该代理 User-agent: dark_NeXus_Qbot Disallow: /
您无需手动执行此操作,可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。