linkdexbot

是否拦截linkdexbot？

一般不需要拦截，尤其是如果你自己也受益于搜索引擎优化服务。不过，如果你担心服务器资源占用等问题，且您都不使用这些工具，当然也可以选择拦截它们。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 linkdexbot 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。

# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: linkdexbot
Disallow: /

您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

什么是Linkdex？

Linkdex是一个企业级平台，将团队管理软件与搜索引擎优化工具结合起来。有时，Linkdex会抓取网站以了解反向链接情况，或为Linkdex的用户收集信息，以便他们能够改进其网站和SEO策略。

为什么抓取我的网站？

与某些爬虫不同，Linkdex的机器人不会随意在互联网上抓取信息。Linkdex只抓取Linkdex的用户认为相关的网页。

如果您的网站已被抓取，Linkdex的机器人将出现在您的分析/服务器日志中，并提供以下详细信息。

• linkdexbot v2.0检查网页之间的链接。这有助于我们建立一个新鲜、准确的网站之间的链接情况。

  Mozilla/5.0 (compatible; linkdexbot/2.0; +https://www.linkdex.com/en-us/about/bots/)

• linkdexbot v2.1是我们更通用的网站爬虫，帮助营销人员检测网站页面的技术问题，有两个版本：标准网络搜索和移动搜索配置。

  Mozilla/5.0 (compatible; linkdexbot/2.1; +https://www.linkdex.com/en-us/about/bots/)
  Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_1 like Mac OS X; en-us) AppleWebKit/532.9 (KHTML, like Gecko) Version/4.0.5 Mobile/8B117 Safari/6531.22.7 (compatible; linkdexbot-Mobile/2.1; +https://www.linkdex.com/en-us/about/bots/)

   

• linkdexbot v2.2检查被搜索引擎排名的网页内容。这有助于我们确定谁是有影响力的网站、品牌和撰写不同主题的作者。

  Mozilla/5.0 (compatible; linkdexbot/2.2; +https://www.linkdex.com/en-us/about/bots/)

• 早期版本的机器人名称为linkdex.com/v2.0和linkdex.com/v2.1

负责任的抓取

Linkdex将尊重您在robots.txt文件中列出的抓取频率限制。Linkdex的抓取速度也相对较慢，通常在各网页之间最多等待5秒钟。这可确保您的网站性能不受任何影响。

联系信息

如果您想讨论Linkdex的网站爬虫，请给Linkdex发电子邮件：support@linkdex.com，并在主题栏中注明网站爬虫。