Spider Analyser – WordPress搜索引擎蜘蛛统计分析插件

  • 最新版本 1.4.1
  • 最新更新 2024.04.20
  • PHP版本要求 7.0+
  • WP版本要求 5.4+
  • 授权类型 付费
价格¥199

热度: 65k+

Spider Analyser – WordPress搜索引擎蜘蛛统计分析插件 PRO
1. 多维度数据
可按不同的时间、不同数据类型维度查看蜘蛛数据,便于对比分析。
2. Top数据排行
Top10蜘蛛&蜘蛛爬取URL数据清单,网站内容搜索引擎友好程度。
3. 日志可查
记录最近30天蜘蛛爬取网站链接记录,蜘蛛爬取痕迹一目了然。
4. 文章抓取
基于文章蜘蛛爬取、出链数、入链数及收录情况进行分析优化。

插件概述

Spider Analyser是一款用于跟踪WordPress网站各种搜索引擎蜘蛛爬行日志,并进行详细的蜘蛛爬行数据统计、蜘蛛行为分析、蜘蛛爬取分析及伪蜘蛛拦截等。

1.蜘蛛概况

支持查看网站日常各大搜索引擎蜘蛛来访的数据;

  • 今日蜘蛛-方便站长快速了解当日、昨日及30天平均的来访蜘蛛数、爬取URL数及平均爬取URL数。
  • 趋势图-支持按今天、昨天、最近7天及最近30天查看蜘蛛数、爬取URLs总量、响应状态码及热门蜘蛛爬取链接数走势折线图,并可查看上一周期数据,以作对比分析。
  • Top10蜘蛛-支持按今天、昨天、最近7天及最近30天查看Top10蜘蛛的爬取URL数及占比相关数据。
  • Top10蜘蛛爬取URL-支持按今天、昨天、最近7天及最近30天查看Top10蜘蛛爬取URL的爬取次数及占比,方便站长对热门蜘蛛爬取页面URL进行分析。
  • Top10热门文章-按今天、昨天、最近7天及最近30天查看Top10热门文章,以便于站长分析热门文章蜘蛛爬取情况以进一步优化文章页SEO。

2.蜘蛛日志

支持按今天、最近7天及最近30天查看蜘蛛日志,包括蜘蛛访问时间、状态码、访问链接、蜘蛛IP及蜘蛛名称等参数。

并且支持按蜘蛛名称、状态码及时间进行筛选日志;以及可通过访问URL、蜘蛛IP搜索蜘蛛日志。支持单个或者批量忽略/拦截日志对应蜘蛛。

3.蜘蛛列表

蜘蛛列表包含蜘蛛清单、蜘蛛IP段、疑似伪蜘蛛及蜘蛛拦截四部分的功能,其中:

  • 蜘蛛清单-清单包括蜘蛛名称、蜘蛛类型、蜘蛛地址、最近来访时间、爬取URLs及占比情况等数据,支持按蜘蛛名称、蜘蛛类型及时间段筛选查询;并且支持单个或者批量忽略或者拦截指定蜘蛛。
  • 蜘蛛IP段-在该列表可以查看不同蜘蛛对应IP段及其占比情况,支持按蜘蛛名、时间进行筛选查询。且支持单个或者批量拦截蜘蛛IP段。注:蜘蛛IP段拦截属于泛拦截,应审慎操作。
  • 疑似伪蜘蛛-协作站长快速发现疑似伪蜘蛛名称及IP地址,便于快速对伪蜘蛛执行单个或者批量拦截操作。站长应该积极对伪蜘蛛进行拦截操作,避免伪蜘蛛的频繁爬取导致服务器性能下降。
  • 蜘蛛拦截-蜘蛛拦截列表用于站长管理蜘蛛拦截清单,支持站长按名称、IP/IP段或者名称+IP/IP段对蜘蛛进行拦截操作。该拦截列表也支持对拦截动作反操作,即可单个或者批量移除拦截。

注:蜘蛛拦截可通过蜘蛛日志列表、蜘蛛清单列表、蜘蛛IP段列表及疑似伪蜘蛛列表对蜘蛛进行拦截。

4.访问路径

支持按今天、最近7天及最近30天查看蜘蛛访问路径(爬取页面URL)具体信息列表,包括URL、URL类型、爬取次数及占比情况等数据。
并且支持按蜘蛛名称、类型、状态、时间、访问URL及蜘蛛IP进行筛选查询。同时,站长还可以快速查看各类型的访问路径的蜘蛛爬取占比饼状分布图。

5.文章爬取

此功能模块是为了方便站长按蜘蛛名称、不同状态的文章类型及时间,快速了解网站文章蜘蛛访问量、出链数及入链数。站长再根据这几个指标,对文章进行内链布局处理,提升蜘蛛爬取频率,从而提升网站收录量。

6.插件设置

  • 记录管理-支持自定义蜘蛛类型及设置蜘蛛记录状态。
  • 链接自定义-允许通过设置链接规则来区分蜘蛛爬取URL链接类型,支持添加自定义或者修改新增现有链接类型的规则。
  • 日志设置-支持设置插件日志保留时间周期(最近30天、最近3个月、最近6个月、最近1年或永久),日志备份及删除和自定义蜘蛛。

Spider Analyser插件非常适合站长作为网站SEO优化的辅助工具,通过数据统计深入了解更大搜索引擎蜘蛛爬取页面URL的行为习惯。WordPress站长可以利用该插件,并结合WordPress网站SEO优化插件百度推送插件关键词推荐插件,对WordPress网站内容的搜索引擎收录及排名优化可以做到事半功倍的效果!

插件安装

方式1:在线安装(推荐)

1. 进入WordPress仪表盘,点击’插件-安装插件’,关键词搜索’Spider Analyser’,找搜索结果中找到’Spider Analyser’插件,点击’现在安装’;
2. 安装完毕后,启用 `Spider Analyser` 插件.
3. 通过仪表盘左侧菜单’蜘蛛分析’即可查看蜘蛛概况及蜘蛛日志.

方式2:上传安装

FTP上传安装
1. 解压插件压缩包spider-analyser.zip,将解压获得文件夹上传至wordpress安装目录下的 `/wp-content/plugins/`目录.
2. 访问WordPress仪表盘,进入’插件’-‘已安装插件’,在插件列表中找到’Spider Analyser’,点击’启用’.
3. 通过仪表盘左侧菜单’蜘蛛分析’即可查看蜘蛛概况及蜘蛛日志.

仪表盘上传安装
1. 进入WordPress仪表盘,点击’插件-安装插件’;
2. 点击界面左上方的’上传按钮’,选择本地提前下载好的插件压缩包spider-analyser.zip,点击’现在安装’;
3. 安装完毕后,启用 `Spider Analyser` 插件;
4. 通过仪表盘左侧菜单’蜘蛛分析’即可查看蜘蛛概况及蜘蛛日志.

截图相册

FAQ

  • 安装插件后无数据显示或者显示为空白,如何处理?
    首先,如果是首次安装,数据可能有延迟,应该稍后再次查看插件后台数据显示情况; 然后,如果不是首次安装,可查看蜘蛛日志列表确认是否有蜘蛛到访,若有数据,尝试强刷浏览器清除缓存及暂停缓存插件,查看是否正常; 上述两个方法均不管用,则应该在插件异常页面,鼠标右键点击“检查”跳出浏览器开发工具,切换至Console标签项,查看是否存在报错信息。如果有,通过“闪电博工单”反馈信息。
  • 百度、谷歌、搜狗、360等搜索引擎蜘蛛基本不到访,怎么办?
    该插件的主要作用是用于统计分析搜索引擎蜘蛛行为。如需要吸引搜索引擎蜘蛛到访或者增加蜘蛛访问深度。建议如下:
  • 访问路径统计中URL类型为什么有些现实为unknown?
    部分历史数据及一些未能够识别类别的蜘蛛访问URL地址,均列为unknown。在后面的插件版本,将会加入URL类型分组自定义功能。
  • Spider Analyser插件是否会识别伪蜘蛛?
    暂不对伪蜘蛛进行识别,如站长发现可以伪蜘蛛,甚至任意你不希望对网站内容爬取的其他蜘蛛,可以通过Robots.txt进行屏蔽。查看教程《如何编写和优化WordPress网站的Robots.txt?》,但不是所有蜘蛛不一定遵循该协议。
  • 为什么插件统计的蜘蛛日志与服务器日志数据有差异?
    插件仅统计前端页面的蜘蛛访问日志,服务器日志则统计所有数据访问日志。因此,理论上服务器日志蜘蛛访问数据应该大于插件的蜘蛛访问数据。但插件统计的数据已经足以作为搜索引擎蜘蛛分析。
  • Spider Analyser插件的蜘蛛数据存放在哪里?
    数据库。由于该数据仅用于网站管理分析时使用,存放在数据库更加实时和准确,主要是占数据库空间,对服务器性能影响可以忽略不计。
  • 如何应对蜘蛛日志过多导致数据库反应缓慢?
    由于服务器配置、网站每日各类蜘蛛爬取频次等原因,可能部分网站安装了蜘蛛统计分析插件后会造成一定的网站性能下降。如出现此种情况,请执行以下操作:
    1. 将插件日志保留周期改为最近30天;
    2. 及时删除历史日志;
    3. 对不必要的蜘蛛日志,设置为忽略或者添加至拦截列表。

更新记录

V1.4.1 2024.04.20
  • 基于编码规范进一步优化PHP代码;
  • 优化PHP代码以提升性能;
  • 优化PHP代码以增强代码安全性。
V1.4.0 2023.12.06
  • 增加疑似伪蜘蛛列表筛选选项;
  • 增加蜘蛛拦截列表筛选选项;
  • 增加文章爬取列表文章编辑操作项;
  • 其他已知问题修复和体验优化。
V1.3.11 2023.03.24
  • 优化移动端样式和体验;
  • 主题插件仪表盘UI规范化处理;
  • 其他已知问题及bug修复。
V1.3.10 2023.03.10
  • 优化趋势统计表交互效果;
  • 优化温馨提示移动端样式;
  • 优化表单数据移动端筛选查询交互。
V1.3.9 2023.03.09
  • 完善和新增各个模块对应温馨提示,以帮助站长更高效地利用插件;
  • 优化数据统计图表,提升数据查看交互体验;
  • 合并301/302状态码日志数据,提升数据筛选效率及调用便利性;
  • 删除各个数据列表无关筛选项;
  • 优化统计数据缓存规则,提升插件效率;
  • 优化移动端筛选项交互体验。
V1.3.8 2022.06.09
  • 新增智能拦截一键清除按钮;
  • 新增日志设置选项,支持日志更新方式可选及日志删除等;
  • 新增部分操作项再次确认窗口,以免误操作;
  • 修复版本更新提示链接点击无效bug;
  • 兼容WordPress 6.0;
  • 进一步优化蜘蛛日志写入逻辑以提升效率。
V1.3.6 2022.04.08
  • 修复智能拦截开关状态无法保存问题;
  • 新增智能拦截弹窗提示,以再次确认站长操作。
V1.3.5 2022.04.01
  • 新增日志保留周期“最近7天”选项;
  • 新增伪蜘蛛智能拦截开关;
  • 优化插件设置记录管理,支持拦截相关操作;
  • 其他已知小问题及体验优化。
V1.3.4 2022.02.17
  • 兼容WordPress 5.9;
  • 优化列表批量操作交互体验;
  • 优化多处移动端样式及交互体验。
V1.3.2 2021.12.27
  • 新增以WP安全标准规范化插件代码;
  • 优化蜘蛛拦截逻辑提高拦截准确率;
  • 修复搜狗蜘蛛名称未能正确匹配为sogou spider的bug。
V1.3.1 2021.10.26
  • 修复新安装插件部分数据表无法正常显示的bug。
V1.3.0 2021.10.11
  • 新增蜘蛛爬虫信息查看快捷入口;
  • 新增蜘蛛爬虫IP搜索快捷入口;
  • 修复疑似伪蜘蛛列表免费版本下为空白;
  • 补充部分列表说明文字及数据来源。
V1.2.4 2021.05.18
  • 新增列表批量操作选项(批量忽略/拦截/移除);
  • 新增访问路径分布饼状图;
  • 新增Pro版本升级入口链接;
  • 新增限时优惠活动入口;
  • 优化版本升级提示与WordPress默认样式一致。
V1.2.3 2021.03.22
  • 优化蜘蛛概况趋势图,移除爬取URLs均值数据统计,新增蜘蛛爬取链接状态码、热门蜘蛛爬取链接数趋势;
  • 列表新增数据列升降序排列支持;
  • 优化蜘蛛日志列表,增加状态码筛选项及列表数据;
  • 优化内容推荐版块展示逻辑;
  • 加入缓存机制,以提升部分数据加载性能;
  • 增加Pro及免费版本功能对比列表。
V1.2.2 2021.03.03
  • 优化列表拦截/忽略操作交互体验,拦截/忽略记录不在原列表显示;
  • 修复列表忽略操作无效bug;
  • 蜘蛛拦截列表新增路径及拦截方式列;
  • 优化文章爬取列表显示数据,支持全局数据读取;
  • 引入全新列表UI库,增强交互体验;
  • 修复蜘蛛清单所有状态筛选项错误bug,改为所有类型筛选项;
  • 进步优化插件相关页面移动端兼容性。
V1.2.1 2021.01.26
  • 新增部分数据列表数据项查看更多入口;
  • 优化蜘蛛概况数据统计图表UI布局;
  • 重新调整蜘蛛列表,拆分为蜘蛛清单、蜘蛛IP、疑似伪蜘蛛和蜘蛛拦截多个Tab标签页;
  • 优化蜘蛛拦截规则,支持名称、IP/IP段或名称+IP/IP段三种拦截方式;
  • 重新调整插件设置,拆分为记录管理、链接规则和日志设置多个Tab标签页;
  • 新增蜘蛛日志备份下载功能;
  • 修正搜狗蜘蛛日志无法记录bug。
V1.2.0 2020.12.07
  • 新增热门文章列表,支持站长了解文章蜘蛛爬取量、出链数及入链数;
  • 新增蜘蛛IP段列表,以便于站长了解不同蜘蛛对应IP段数据;
  • 新增疑似伪蜘蛛识别功能;
  • 新增蜘蛛名称及蜘蛛IP拦截功能,以便于站长对不需要的蜘蛛或者IP进行拦截;
  • 蜘蛛概况新增访问路径快捷入口;
  • 蜘蛛日志、蜘蛛列表及访问路径等列表新增拦截操作选项;
  • 其他功能体验优化及已知问题修复。
V1.1.4 2020.11.13
  • 紧急修复蜘蛛忽略设置可能导致相似名称蜘蛛被忽略bug.
V1.1.3 2020.11.10
  • 新增日志保留时间选项及删除日志操作;
  • 新增蜘蛛列表管理,支持自定义蜘蛛,蜘蛛类型及记录开关;
  • 新增链接自定义类型及规则设置,支持新增或者修改URL类型及链接规则;
  • 优化蜘蛛列表,新增按蜘蛛名称筛选支持。
V1.1.2 2020.10.12
  • 新增蜘蛛访问路径数据列表功能;
  • 新增访问路径类型数据统计,支持按首页、文章页、独立页、分类页、搜索页、作者页、Feed、Sitemap、API和其他类型归类URL;
  • 其他已知问题及bug修复。
V1.1.1 2020.09.08
  • 新增蜘蛛列表功能,支持查看站点更多蜘蛛相关数据信息;
  • 新增更多蜘蛛数据统计,支持300+不同类型蜘蛛数据统计;
  • 优化插件移动端界面样式。
V1.1.0 2020.08.15
  • 新增日志筛选搜索功能;
  • 新增版本升级提示功能;
  • 修复部分蜘蛛无法统计bug。
V1.0.3 2020.07.29
  • 优化爬虫日志记录规则,由每小时更新改为实时更新;
  • 删除原有的本地日志记录功能,改为直接数据库记录。
V1.0.2 2020.07.16
  • 修复数据图表纵坐标参考值出现小数的bug;
  • 修复统计图表数据取值异常问题;
  • 优化数据统计图表当期及上期折线样式(当期实线,上期虚线)。
V1.0.1 2020.07.11
  • 修复部分网站无数据展示bug;
  • 优化插件部分统计数据术语,统一标准;
  • 优化移动端展示外观;
  • 删除非必要文件。
V1.0.0 2020.07.10
  • 新增今日蜘蛛数据统计功能;
  • 新增蜘蛛数据趋势图功能;
  • 新增Top10搜索引擎蜘蛛统计功能;
  • 新增Top10蜘蛛爬取URL统计功能;
  • 新增蜘蛛日志功能,统计蜘蛛访问时间、状态码、访问链接、蜘蛛IP及蜘蛛名称等数据。

评论留言

唇枪舌剑(72)

  • ?的头像

    ?

    2024.4.3 11:04

    1.建议蜘蛛的名称使用中文替代,例如:bingbot=必应,Googlebot =谷歌,YisouSpider=神马,要很直观,很直白的体现,小白很多。没必要让大家再去查询这是什么蜘蛛。
    2..蜘蛛建议使用中文名称+蜘蛛类型

    回复
    • WBOLT_COM的头像

      WBOLT_COM

      2024.4.3 17:04

      中文蜘蛛寥寥无几。暂无打算,感谢建议。

  • 裴先生的头像

    裴先生

    2024.3.4 15:03

    在蜘蛛清单页面,点击最近来访排序,SQL查询报错了:WordPress database error Unknown column ‘a.last_visit’ in ‘order clause’ for query SELECT a.spider,COUNT(1) num,MAX(a.visit_date) last_visit,b.bot_type,b.bot_url,b.status AS udg FROM wp_wb_spider_log a LEFT JOIN wp_wb_spider b ON a.spider=b.name WHERE DATE_FORMAT(a.visit_date,’%Y-%m-%d’) = ‘2024-03-04’ GROUP BY a.spider ORDER BY a.last_visit ASC made by do_action(‘wp_ajax_spider_analyser’), WP_Hook->do_action, WP_Hook->apply_filters, WP_Spider_Analyser::spider_analyser_ajax, referer: https://blog.peiluming.com/wp-admin/admin.php?page=wp_spider_analyser

    回复
  • 橙光的头像

    橙光

    2023.10.23 23:10

    Spider Analyser 插件坏了读取不出来 怎么办?

    回复
  • XX的头像

    XX

    2023.9.26 09:09

    经常一直卡bug 点击插件后就一直转圈加载不出蜘蛛概况

    回复
    • WBOLT_COM的头像

      WBOLT_COM

      2023.9.26 15:09

      查看日志数量是否过大。如果存在此问题,尝试设置更短的日志保留时间,拦截非必要的蜘蛛爬虫。

  • 技术SOLO的头像

    技术SOLO

    2023.9.11 16:09

    如果使用多层CDN,蜘蛛ip获取有问题

    回复
    • WBOLT_COM的头像

      WBOLT_COM

      2023.9.12 10:09

      多层CDN不是获取蜘蛛IP有问题,是无法获取蜘蛛IP。

  • 大江的头像

    大江

    2023.5.18 21:05

    百度蜘蛛。前段时间是出现一部分返回码是302,这几天全部是返回码302,只有tag的返回码是200.其他蜘蛛正常。盼复,谢谢。

    回复
    • WBOLT_COM的头像

      WBOLT_COM

      2023.5.19 10:05

      工单提供详细反馈一些。

  • 痕风的起点的头像

    痕风的起点

    2023.5.5 22:05

    免费版不让用了!!!

    回复
    • momo的头像

      momo

      2023.5.11 10:05

      我的也报错了
      2023/05/11 02:05:40 [error] 1941#0: *59346 FastCGI sent in stderr: "PHP message: PHP Warning: error_log(/www/wwwroot//wp-content/plugins/spider-analyser/#log/log-1110.txt): failed to open stream: No such file or directory in /www/wwwroot//wp-content/plugins/spider-analyser/spider.class.php on line 2900" while reading upstream, client: 172.70.142.216, server: , request: "GET /author/28?orderby=date&status=follow&tab=forum HTTP/2.0", upstream: "fastcgi://unix:/tmp/php-cgi-74.sock:", host: ""

  • 避世血族-暗的头像

    避世血族-暗

    2022.9.14 15:09

    WP多站点,能用么?还是只能授权一个域名?

    回复
    • WBOLT_COM的头像

      WBOLT_COM

      2022.9.14 15:09

      页面价格为单一域名授权价格。

  • 神经蛙的头像

    神经蛙

    2022.8.27 09:08

    这个插件可以开发一个路径功能吗?就是爬虫进入网页A以后,是不是点击了A中的内链,然后又去爬了B(A中的一条内链)。

    就像一个爬虫路线图,爬虫进入网站以后,爬的深度是怎么样的

    回复
    • WBOLT_COM的头像

      WBOLT_COM

      2022.8.27 11:08

      暂无这样的计划。

  • 993的头像

    993

    2022.6.27 23:06

    跟楼主一样的故障,我是6月23号就获取不到了

    回复
    • 993的头像

      993

      2022.6.28 19:06

      谢谢!
      根据作者的建议,删除了全部日志,设置为保留30天,及时更新,最后记得保存设置,立马刷新后台,就有蜘蛛记录了。

  • 兵哥的头像

    兵哥

    2022.6.27 15:06

    V1.3.8版本从6月26日开始突然就获取不到蜘蛛数据了,前几天都正常

    回复
    • WBOLT_COM的头像

      WBOLT_COM

      2022.6.27 16:06

      进入蜘蛛后台,右键查看元素,看是否有任何报错。

    • 993的头像

      993

      2022.6.27 23:06

      这是报错:不可用
      
      chunk-vendors.be52a27d.js:11 Uncaught (in promise) Error: timeout of 10000ms exceeded
      at e.exports (chunk-vendors.be52a27d.js:11)
      at XMLHttpRequest.f.ontimeout (chunk-vendors.be52a27d.js:16)
      4d9e7db…:1 Failed to load resource: net::ERR_CONNECTION_TIMED_OUT

    • WBOLT_COM的头像

      WBOLT_COM

      2022.6.28 12:06

      尝试将插件的日志设置,执行日志删除,将保留周期改为最近30天,更新方式为每天更新。最后保存设置。

      如果网站蜘蛛日志数据过多,应该将比必要的蜘蛛进行拦截,也可以选择不记录部分无关紧要的蜘蛛记录。

      推荐仅记录国内外重点关注的搜索引擎蜘蛛,其他蜘蛛可以不理会的。

    • 酷酷的文的头像

      酷酷的文

      2023.1.5 11:01

      一样的问题,我也出现过。

  • o︻|樱桃*$的头像

    o︻|樱桃*$

    2022.5.6 11:05

    这个插件是不是不适合wp站群系统啊?每个站点都需要单独授权才可以使用吗

    回复
    • wbolt_陈大民的头像

      wbolt_陈大民

      2022.5.6 14:05

      提交订单时可选择多域名授权,并享优惠。

  • CoImPFv-kedLMTmfOrSZYifzh67vI的头像

    CoImPFv-kedLMTmfOrSZYifzh67vI

    2022.4.22 19:04

    这个能获取到 他人采集我网站的 信息吗?

    回复
  • Ghost_chu的头像

    Ghost_chu

    2022.3.27 19:03

    archive.org 的 bot 似乎没被识别
    UA为:Mozilla/5.0 (compatible; special_archiver/3.1.1 +http://www.archive.org/details/archive.org_bot)

    回复
  • 展小白的头像

    展小白

    2022.3.20 12:03

    为什么一个蜘蛛都没有呢?百度是有抓取记录的,这个需要给到什么权限才能获取到蜘蛛记录吗?

    回复
    • WBOLT_COM的头像

      WBOLT_COM

      2022.3.20 13:03

      不需要的呢。耐心等待下它的出现呗。

  • 康的头像

    2021.12.30 15:12

    更新后蜘蛛大量减少

    回复
    • WBOLT_COM的头像

      WBOLT_COM

      2021.12.30 15:12

      正在看你们反馈的问题,初步判断是Free版本的数据读取问题,Pro没有这种情况。

  • juebanheise的头像

    juebanheise

    2021.12.29 17:12

    新版更新后 蜘蛛记录大量减少,莫名其妙的状态码全部都是302

    回复
    • WBOLT_COM的头像

      WBOLT_COM

      2021.12.29 18:12

      针对您的问题以工单的形式提交反馈,以便于我们进一步排查。

    • 刘的头像

      2021.12.29 21:12

      返回码都是302

    • 搬主题的头像

      搬主题

      2021.12.30 10:12

      我也一样,更新后蜘蛛记录大量减少。