Spider Analyser插件是否会识别伪蜘蛛?

暂不对伪蜘蛛进行识别,如站长发现可以伪蜘蛛,甚至任意你不希望对网站内容爬取的其他蜘蛛,可以通过Robots.txt进行屏蔽。查看教程《如何编写和优化WordPress网站的Robots.txt?》,但不是所有蜘蛛不一定遵循该协议。

闪电博沟通群

扫码加入QQ交流群 695891297