插件概述
Spider Analyser是一款用于跟踪WordPress网站各种搜索引擎蜘蛛爬行日志，并进行详细的蜘蛛爬行数据统计、蜘蛛行为分析、蜘蛛爬取分析及伪蜘蛛拦截等。
1.蜘蛛概况
支持查看网站日常各大搜索引擎蜘蛛来访的数据；
- 今日蜘蛛-方便站长快速了解当日、昨日及30天平均的来访蜘蛛数、爬取URL数及平均爬取URL数。
- 趋势图-支持按今天、昨天、最近7天及最近30天查看蜘蛛数、爬取URLs总量、响应状态码及热门蜘蛛爬取链接数走势折线图，并可查看上一周期数据，以作对比分析。
- Top10蜘蛛-支持按今天、昨天、最近7天及最近30天查看Top10蜘蛛的爬取URL数及占比相关数据。
- Top10蜘蛛爬取URL-支持按今天、昨天、最近7天及最近30天查看Top10蜘蛛爬取URL的爬取次数及占比，方便站长对热门蜘蛛爬取页面URL进行分析。
- Top10热门文章-按今天、昨天、最近7天及最近30天查看Top10热门文章，以便于站长分析热门文章蜘蛛爬取情况以进一步优化文章页SEO。
2.蜘蛛日志
支持按今天、最近7天及最近30天查看蜘蛛日志，包括蜘蛛访问时间、状态码、访问链接、蜘蛛IP及蜘蛛名称等参数。
并且支持按蜘蛛名称、状态码及时间进行筛选日志；以及可通过访问URL、蜘蛛IP搜索蜘蛛日志。支持单个或者批量忽略/拦截日志对应蜘蛛。
3.蜘蛛列表
蜘蛛列表包含蜘蛛清单、蜘蛛IP段、疑似伪蜘蛛及蜘蛛拦截四部分的功能，其中：
- 蜘蛛清单-清单包括蜘蛛名称、蜘蛛类型、蜘蛛地址、最近来访时间、爬取URLs及占比情况等数据，支持按蜘蛛名称、蜘蛛类型及时间段筛选查询；并且支持单个或者批量忽略或者拦截指定蜘蛛。
- 蜘蛛IP段-在该列表可以查看不同蜘蛛对应IP段及其占比情况，支持按蜘蛛名、时间进行筛选查询。且支持单个或者批量拦截蜘蛛IP段。注：蜘蛛IP段拦截属于泛拦截，应审慎操作。
- 疑似伪蜘蛛-协作站长快速发现疑似伪蜘蛛名称及IP地址，便于快速对伪蜘蛛执行单个或者批量拦截操作。站长应该积极对伪蜘蛛进行拦截操作，避免伪蜘蛛的频繁爬取导致服务器性能下降。
- 蜘蛛拦截-蜘蛛拦截列表用于站长管理蜘蛛拦截清单，支持站长按名称、IP/IP段或者名称+IP/IP段对蜘蛛进行拦截操作。该拦截列表也支持对拦截动作反操作，即可单个或者批量移除拦截。
注：蜘蛛拦截可通过蜘蛛日志列表、蜘蛛清单列表、蜘蛛IP段列表及疑似伪蜘蛛列表对蜘蛛进行拦截。
4.访问路径
支持按今天、最近7天及最近30天查看蜘蛛访问路径（爬取页面URL）具体信息列表，包括URL、URL类型、爬取次数及占比情况等数据。
并且支持按蜘蛛名称、类型、状态、时间、访问URL及蜘蛛IP进行筛选查询。同时，站长还可以快速查看各类型的访问路径的蜘蛛爬取占比饼状分布图。
5.文章爬取
此功能模块是为了方便站长按蜘蛛名称、不同状态的文章类型及时间，快速了解网站文章蜘蛛访问量、出链数及入链数。站长再根据这几个指标，对文章进行内链布局处理，提升蜘蛛爬取频率，从而提升网站收录量。
6.插件设置
- 记录管理-支持自定义蜘蛛类型及设置蜘蛛记录状态。
- 链接自定义-允许通过设置链接规则来区分蜘蛛爬取URL链接类型，支持添加自定义或者修改新增现有链接类型的规则。
- 日志设置-支持设置插件日志保留时间周期（最近30天、最近3个月、最近6个月、最近1年或永久），日志备份及删除和自定义蜘蛛。
Spider Analyser插件非常适合站长作为网站SEO优化的辅助工具，通过数据统计深入了解更大搜索引擎蜘蛛爬取页面URL的行为习惯。WordPress站长可以利用该插件，并结合WordPress网站SEO优化插件、百度推送插件和关键词推荐插件，对WordPress网站内容的搜索引擎收录及排名优化可以做到事半功倍的效果！
插件安装
方式1：在线安装(推荐)
1. 进入WordPress仪表盘，点击’插件-安装插件’，关键词搜索’Spider Analyser’，找搜索结果中找到’Spider Analyser’插件，点击’现在安装’；
2. 安装完毕后，启用 `Spider Analyser` 插件.
3. 通过仪表盘左侧菜单’蜘蛛分析’即可查看蜘蛛概况及蜘蛛日志.
方式2：上传安装
FTP上传安装
1. 解压插件压缩包spider-analyser.zip，将解压获得文件夹上传至wordpress安装目录下的 `/wp-content/plugins/`目录.
2. 访问WordPress仪表盘，进入’插件’-‘已安装插件’，在插件列表中找到’Spider Analyser’，点击’启用’.
3. 通过仪表盘左侧菜单’蜘蛛分析’即可查看蜘蛛概况及蜘蛛日志.
仪表盘上传安装
1. 进入WordPress仪表盘，点击’插件-安装插件’；
2. 点击界面左上方的’上传按钮’，选择本地提前下载好的插件压缩包spider-analyser.zip，点击’现在安装’；
3. 安装完毕后，启用 `Spider Analyser` 插件；
4. 通过仪表盘左侧菜单’蜘蛛分析’即可查看蜘蛛概况及蜘蛛日志.
截图相册
FAQ
-
安装插件后无数据显示或者显示为空白，如何处理？首先，如果是首次安装，数据可能有延迟，应该稍后再次查看插件后台数据显示情况； 然后，如果不是首次安装，可查看蜘蛛日志列表确认是否有蜘蛛到访，若有数据，尝试强刷浏览器清除缓存及暂停缓存插件，查看是否正常； 上述两个方法均不管用，则应该在插件异常页面，鼠标右键点击“检查”跳出浏览器开发工具，切换至Console标签项，查看是否存在报错信息。如果有，通过“闪电博工单”反馈信息。
-
百度、谷歌、搜狗、360等搜索引擎蜘蛛基本不到访，怎么办？该插件的主要作用是用于统计分析搜索引擎蜘蛛行为。如需要吸引搜索引擎蜘蛛到访或者增加蜘蛛访问深度。建议如下：
- 尽可能地将网站sitemap提交至各大搜索引擎，查看sitemap相关教程；
- 尽可能通过各种方式将URL数据推送至搜索引擎，使用闪电博的搜索自动推送管理插件可以自动推送url数据至百度、Bing、360、神马和头条等搜索引擎。
- 适当地布局站外和站内链接，可以增加搜索引擎蜘蛛到访网站频率及提升爬取网站深度。推荐学习网站内部链接SEO优化实操指南和外链建设在SEO中的重要性及策略.
-
访问路径统计中URL类型为什么有些现实为unknown？部分历史数据及一些未能够识别类别的蜘蛛访问URL地址，均列为unknown。在后面的插件版本，将会加入URL类型分组自定义功能。
-
Spider Analyser插件是否会识别伪蜘蛛?暂不对伪蜘蛛进行识别，如站长发现可以伪蜘蛛，甚至任意你不希望对网站内容爬取的其他蜘蛛，可以通过Robots.txt进行屏蔽。查看教程《如何编写和优化WordPress网站的Robots.txt?》，但不是所有蜘蛛不一定遵循该协议。
-
为什么插件统计的蜘蛛日志与服务器日志数据有差异?插件仅统计前端页面的蜘蛛访问日志，服务器日志则统计所有数据访问日志。因此，理论上服务器日志蜘蛛访问数据应该大于插件的蜘蛛访问数据。但插件统计的数据已经足以作为搜索引擎蜘蛛分析。
-
Spider Analyser插件的蜘蛛数据存放在哪里?数据库。由于该数据仅用于网站管理分析时使用，存放在数据库更加实时和准确，主要是占数据库空间，对服务器性能影响可以忽略不计。
-
如何应对蜘蛛日志过多导致数据库反应缓慢？由于服务器配置、网站每日各类蜘蛛爬取频次等原因，可能部分网站安装了蜘蛛统计分析插件后会造成一定的网站性能下降。如出现此种情况，请执行以下操作：
- 将插件日志保留周期改为最近30天；
- 及时删除历史日志；
- 对不必要的蜘蛛日志，设置为忽略或者添加至拦截列表。
更新记录
- 基于编码规范进一步优化PHP代码；
- 优化PHP代码以提升性能；
- 优化PHP代码以增强代码安全性。
- 增加疑似伪蜘蛛列表筛选选项；
- 增加蜘蛛拦截列表筛选选项；
- 增加文章爬取列表文章编辑操作项；
- 其他已知问题修复和体验优化。
- 优化移动端样式和体验；
- 主题插件仪表盘UI规范化处理；
- 其他已知问题及bug修复。
- 优化趋势统计表交互效果；
- 优化温馨提示移动端样式；
- 优化表单数据移动端筛选查询交互。
- 完善和新增各个模块对应温馨提示，以帮助站长更高效地利用插件；
- 优化数据统计图表，提升数据查看交互体验；
- 合并301/302状态码日志数据，提升数据筛选效率及调用便利性；
- 删除各个数据列表无关筛选项；
- 优化统计数据缓存规则，提升插件效率；
- 优化移动端筛选项交互体验。
- 新增智能拦截一键清除按钮；
- 新增日志设置选项，支持日志更新方式可选及日志删除等；
- 新增部分操作项再次确认窗口，以免误操作；
- 修复版本更新提示链接点击无效bug；
- 兼容WordPress 6.0；
- 进一步优化蜘蛛日志写入逻辑以提升效率。
- 修复智能拦截开关状态无法保存问题；
- 新增智能拦截弹窗提示，以再次确认站长操作。
- 新增日志保留周期“最近7天”选项;
- 新增伪蜘蛛智能拦截开关；
- 优化插件设置记录管理，支持拦截相关操作；
- 其他已知小问题及体验优化。
- 兼容WordPress 5.9；
- 优化列表批量操作交互体验；
- 优化多处移动端样式及交互体验。
- 新增以WP安全标准规范化插件代码；
- 优化蜘蛛拦截逻辑提高拦截准确率；
- 修复搜狗蜘蛛名称未能正确匹配为sogou spider的bug。
- 修复新安装插件部分数据表无法正常显示的bug。
- 新增蜘蛛爬虫信息查看快捷入口；
- 新增蜘蛛爬虫IP搜索快捷入口；
- 修复疑似伪蜘蛛列表免费版本下为空白；
- 补充部分列表说明文字及数据来源。
- 新增列表批量操作选项（批量忽略/拦截/移除）；
- 新增访问路径分布饼状图；
- 新增Pro版本升级入口链接；
- 新增限时优惠活动入口；
- 优化版本升级提示与WordPress默认样式一致。
- 优化蜘蛛概况趋势图，移除爬取URLs均值数据统计，新增蜘蛛爬取链接状态码、热门蜘蛛爬取链接数趋势；
- 列表新增数据列升降序排列支持；
- 优化蜘蛛日志列表，增加状态码筛选项及列表数据；
- 优化内容推荐版块展示逻辑；
- 加入缓存机制，以提升部分数据加载性能；
- 增加Pro及免费版本功能对比列表。
- 优化列表拦截/忽略操作交互体验，拦截/忽略记录不在原列表显示；
- 修复列表忽略操作无效bug；
- 蜘蛛拦截列表新增路径及拦截方式列；
- 优化文章爬取列表显示数据，支持全局数据读取；
- 引入全新列表UI库，增强交互体验；
- 修复蜘蛛清单所有状态筛选项错误bug，改为所有类型筛选项；
- 进步优化插件相关页面移动端兼容性。
- 新增部分数据列表数据项查看更多入口；
- 优化蜘蛛概况数据统计图表UI布局；
- 重新调整蜘蛛列表，拆分为蜘蛛清单、蜘蛛IP、疑似伪蜘蛛和蜘蛛拦截多个Tab标签页；
- 优化蜘蛛拦截规则，支持名称、IP/IP段或名称+IP/IP段三种拦截方式；
- 重新调整插件设置，拆分为记录管理、链接规则和日志设置多个Tab标签页；
- 新增蜘蛛日志备份下载功能；
- 修正搜狗蜘蛛日志无法记录bug。
- 新增热门文章列表，支持站长了解文章蜘蛛爬取量、出链数及入链数；
- 新增蜘蛛IP段列表，以便于站长了解不同蜘蛛对应IP段数据；
- 新增疑似伪蜘蛛识别功能；
- 新增蜘蛛名称及蜘蛛IP拦截功能，以便于站长对不需要的蜘蛛或者IP进行拦截；
- 蜘蛛概况新增访问路径快捷入口；
- 蜘蛛日志、蜘蛛列表及访问路径等列表新增拦截操作选项；
- 其他功能体验优化及已知问题修复。
- 紧急修复蜘蛛忽略设置可能导致相似名称蜘蛛被忽略bug.
- 新增日志保留时间选项及删除日志操作；
- 新增蜘蛛列表管理，支持自定义蜘蛛，蜘蛛类型及记录开关；
- 新增链接自定义类型及规则设置，支持新增或者修改URL类型及链接规则；
- 优化蜘蛛列表，新增按蜘蛛名称筛选支持。
- 新增蜘蛛访问路径数据列表功能；
- 新增访问路径类型数据统计，支持按首页、文章页、独立页、分类页、搜索页、作者页、Feed、Sitemap、API和其他类型归类URL；
- 其他已知问题及bug修复。
- 新增蜘蛛列表功能，支持查看站点更多蜘蛛相关数据信息；
- 新增更多蜘蛛数据统计，支持300+不同类型蜘蛛数据统计；
- 优化插件移动端界面样式。
- 新增日志筛选搜索功能；
- 新增版本升级提示功能；
- 修复部分蜘蛛无法统计bug。
- 优化爬虫日志记录规则，由每小时更新改为实时更新；
- 删除原有的本地日志记录功能，改为直接数据库记录。
- 修复数据图表纵坐标参考值出现小数的bug；
- 修复统计图表数据取值异常问题；
- 优化数据统计图表当期及上期折线样式（当期实线，上期虚线）。
- 修复部分网站无数据展示bug；
- 优化插件部分统计数据术语，统一标准；
- 优化移动端展示外观;
- 删除非必要文件。
- 新增今日蜘蛛数据统计功能；
- 新增蜘蛛数据趋势图功能；
- 新增Top10搜索引擎蜘蛛统计功能；
- 新增Top10蜘蛛爬取URL统计功能；
- 新增蜘蛛日志功能，统计蜘蛛访问时间、状态码、访问链接、蜘蛛IP及蜘蛛名称等数据。
评论留言
唇枪舌剑(72)
搬主题
2021.12.29 08:12
更新到最新的1.3.2后，谷歌蜘蛛的记录爆减。原来每天谷歌蜘蛛来几百上千，更新后，每天只有20-30，查了robots.txt并未做拦截。同时，其他的什么各种国外蜘蛛都不记录了。每天只记录bing、谷歌、和百度、搜狗这几个蜘蛛。
疯轻吟
2021.6.15 17:06
拦截没用啊，拦截了，刷新一下，被拦截的蜘蛛，又出现在访问列表里面，状态码还是200的，查询robots.txt发现啥都没写进去
wb-2
2021.6.15 19:06
拦截列表及日志截图以工单方式提交，在这留言我们没法帮你核查的。
疯轻吟
2021.6.15 16:06
日志保存选项能否7天选项？一个月的都有5万条记录，查询筛选太卡了
模板星（mobanstar）
2021.4.23 14:04
问下该插件有授权码嘛？购买后支持多站点使用嘛？
wb-2
2021.4.25 16:04
当然有授权码，授权绑定域名限制取决于你自己购买时的选择。
jsjdnd
2021.2.7 15:02
可是我点击插件页面是一片空白，好像是上次更新过后就一直这样。删了重装也没用
WBOLT_COM
2021.3.3 17:03
浏览器F12调试模式，选console，看有没有报错。
智障喵兔w
2021.3.23 16:03
和主题冲突~占用同一个资源库~建议用旧版
WBOLT_COM
2021.3.23 16:03
?占用同一个资源库？暂时没发现你说的问题，建议提个工单反馈下，是啥问题。
ㅤ
2021.2.6 18:02
为什么我点击插件页面是一片空白?
wbolt
2021.2.6 19:02
F12-CONSOLE，查看是否有报错。
清
2021.2.6 03:02
已购买怎么授权？
wbolt
2021.2.6 13:02
会员中心可以查看授权码的。
Alexey
2021.1.24 15:01
Hi!
1) Can the plugin mark when a new article was visited by spiders, which ones? Do I need the PRO version for that?
2) I would love to buy the PRO-version as soon as I can use the language files.
At least the English language.
I’m even willing to translate it into Russian.
WBOLT_COM
2021.1.26 10:01
hello,
1)All spiders can be marked, Free version is OK.
2)There aren’t any other languages, I’m so sorry.
毒毒
2021.1.15 18:01
为什么看不到搜狗的蜘蛛。我的搜狗权重1了
wbolt
2021.1.23 23:01
好像有个小bug，下个版本修复。
林
2020.12.9 16:12
请问Pro购买后只能在一个站点用还是可以多站点使用？
WBOLT_COM
2020.12.9 17:12
一个网站上用还是多个网站上用，下单的时候可以自己选择的。
小王
2020.11.29 12:11
https://www.wbolt.com/search-engine-index-tips.html，https://www.wbolt.com/robots-txt.html
这个提示不存在
小王
2020.11.27 17:11
1、是因为百度蜘蛛没有来抓取数据，所以看不到百度是吗？那怎样让百度来抓？为啥谷歌来抓了，百度却没有来？
2、另外插件设置里面有个自定义蜘蛛，这有啥作用啊？感觉没用啊？不能用
wbolt
2020.11.29 07:11
百度蜘蛛不爬取你网站原因有很多，比如内容采集，不一一列举。如何让百度蜘蛛来:
https://www.wbolt.com/search-engine-index-tips.html，https://www.wbolt.com/robots-txt.html。
自定义蜘蛛，你要是觉得没用那就不要用它即可，或者对你来说没用而已。
小王
2020.11.27 16:11
默认安装完以后，只有一个谷歌spider，我想再加一个百度spider，但是在插件设置里面不能添加新spider，只能默认谷歌的，为啥？
WBOLT_COM
2020.11.27 17:11
哈哈，那是你没有百度蜘蛛来，就没有数据而已，跟添加不添加没关系！
炫龙网
2020.11.11 16:11
1.13更新不了…
WBOLT_COM
2020.11.11 16:11
请问更新不了是啥意思？有何提示呢？
小科普
2020.9.11 23:09
站长。。。这个流量高的站一天就能产生几百M的数据库数据。。。放数据库不合理呀
WBOLT_COM
2020.9.12 10:09
你都说流量高的网站啦，高就应该定期清理蜘蛛日志数据及拦截不必要的蜘蛛。
我们后续会给出删除历史数据的功能的，这只是记录数据不是常需要读取的数据。
Zinsser.Kerry（津泽.克）
2020.9.3 18:09
多站点不能统计除主站以外的其他站点蜘蛛
WBOLT_COM
2020.9.3 18:09
只统计主站的蜘蛛数据，其他站点无法获取到数据的。
石头
2020.9.1 15:09
怎么用户这个插件
我爱一条柴-称霸欲林
2020.7.20 11:07
站长你真的太伟大了，我准备把你的插件跟分享给我的站友！
成人之美
2020.7.16 14:07
提个建议应该加上个可以清理数据，要不时间一长数据太多了
WBOLT_COM
2020.8.17 10:08
数据只保存30天的。
花酿酒゛
2020.7.12 17:07
还是获取不到蜘蛛信息……………………
wbolt
2020.7.12 18:07
更新到最新版本，停用再启用插件，如果还是获取不到，发个工单联系我们。