linkdexbot

linkdexbot蜘蛛/爬蟲屬於營銷型別,由Analytics SEO Ltd t/a Authoritas開發執行。您可以繼續閱讀下方資訊,以深入瞭解linkdexbot基本資訊,使用者代理和訪問控制等。

基本資訊

linkdexbot的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲,可能存在資訊不明的情況。
蜘蛛/爬蟲名稱
linkdexbot
型別
營銷
開發商
Analytics SEO Ltd t/a Authoritas
當前狀態
活動

使用者代理

關於linkdexbot蜘蛛或者爬蟲的使用者代理字串,IP地址和伺服器,所在地等資訊如下表格所示:
linkdex.com/v2.0
使用者代理字串
linkdex.com/v2.0
首次出現
2011-04-04 20:25:26
最後出現
2019-11-19 17:19:49
遵循robots.txt
未知
來源
IP地址(173) 伺服器名稱 所屬國家
51.52.86.158 ? GB
91.193.166.194 skuns.zoral.com.ua UA
107.22.137.149 ec2-107-22-137-149.compute-1.amazonaws.com US
23.23.27.206 ec2-23-23-27-206.compute-1.amazonaws.com US
91.84.223.170 91.84.223.170 UK
使用者代理字串
Mozilla/5.0 (compatible; linkdexbot/2.2; +http://www.linkdex.com/bots/)
首次出現
2014-11-08 07:50:00
最後出現
2018-12-18 19:56:34
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
54.224.62.135 ec2-54-224-62-135.compute-1.amazonaws.com US
35.153.134.140 ec2-35-153-134-140.compute-1.amazonaws.com US
18.234.245.196 ec2-18-234-245-196.compute-1.amazonaws.com US
54.157.27.155 ec2-54-157-27-155.compute-1.amazonaws.com US
54.152.244.139 ec2-54-152-244-139.compute-1.amazonaws.com US
使用者代理字串
linkdex.com/2.0 Client Check v2.0
首次出現
2018-05-18 17:06:08
最後出現
2018-05-25 00:10:16
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
52.90.230.67 ec2-52-90-230-67.compute-1.amazonaws.com US
使用者代理字串
Mozilla/5.0 (compatible; linkdexbot/2.0; +http://www.linkdex.com/about/bots/)
首次出現
2013-07-13 14:42:40
最後出現
2014-04-06 13:35:53
遵循robots.txt
未知
來源
IP地址(110) 伺服器名稱 所屬國家
185.184.157.95 ? US
185.184.157.81 ? US
185.184.157.102 ? US
185.184.157.90 ? US
185.184.157.94 ? US
使用者代理字串
Mozilla/5.0 (compatible; linkdexbot/2.0; +http://www.linkdex.com/about/bots/)
首次出現
2013-07-13 14:42:40
最後出現
2014-04-06 13:35:53
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
54.205.69.117 ec2-54-205-69-117.compute-1.amazonaws.com US
174.129.69.144 ec2-174-129-69-144.compute-1.amazonaws.com US
54.197.15.135 ec2-54-197-15-135.compute-1.amazonaws.com US
50.19.2.248 ec2-50-19-2-248.compute-1.amazonaws.com US
23.20.52.49 ec2-23-20-52-49.compute-1.amazonaws.com US
使用者代理字串
Mozilla/5.0 (compatible; linkdexbot/2.1; +http://www.linkdex.com/about/bots/)
首次出現
2013-10-04 13:25:18
最後出現
2013-09-30 15:21:18
遵循robots.txt
未知
來源
IP地址(4) 伺服器名稱 所屬國家
52.203.8.219 ec2-52-203-8-219.compute-1.amazonaws.com US
50.19.96.213 ec2-50-19-96-213.compute-1.amazonaws.com US
23.20.235.176 ec2-23-20-235-176.compute-1.amazonaws.com US
107.20.14.241 ec2-107-20-14-241.compute-1.amazonaws.com US
使用者代理字串
Mozilla/5.0 (compatible; linkdexbot/2.1; +http://www.linkdex.com/about/bots/)
首次出現
2013-10-04 13:25:18
最後出現
2013-09-30 15:21:18
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
23.20.235.176 ec2-23-20-235-176.compute-1.amazonaws.com US
使用者代理字串
linkdexbot/Nutch-1.0-dev (http://www.linkdex.com/; crawl at linkdex dot com)
首次出現
2009-05-11 05:50:00
最後出現
2009-04-14 13:02:28
遵循robots.txt
未知
來源
IP地址(3) 伺服器名稱 所屬國家
174.129.111.149 ec2-174-129-111-149.compute-1.amazonaws.com US
174.129.90.83 ec2-174-129-90-83.compute-1.amazonaws.com US
75.101.196.118 ec2-75-101-196-118.compute-1.amazonaws.com US

訪問控制

瞭解如何控制linkdexbot訪問許可權,避免linkdexbot抓取行為不當。

是否攔截linkdexbot?

一般不需要攔截,尤其是如果你自己也受益於搜尋引擎優化服務。不過,如果你擔心伺服器資源佔用等問題,且您都不使用這些工具,當然也可以選擇攔截它們。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 linkdexbot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: linkdexbot
Disallow: /

您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

更多資訊

什麼是Linkdex?

Linkdex是一個企業級平臺,將團隊管理軟體與搜尋引擎優化工具結合起來。有時,Linkdex會抓取網站以瞭解反向連結情況,或為Linkdex的使用者收集資訊,以便他們能夠改進其網站和SEO策略。

為什麼抓取我的網站?

與某些爬蟲不同,Linkdex的機器人不會隨意在網際網路上抓取資訊。Linkdex只抓取Linkdex的使用者認為相關的網頁。

如果您的網站已被抓取,Linkdex的機器人將出現在您的分析/伺服器日誌中,並提供以下詳細資訊。

  • linkdexbot v2.0檢查網頁之間的連結。這有助於我們建立一個新鮮、準確的網站之間的連結情況。
    Mozilla/5.0 (compatible; linkdexbot/2.0; +https://www.linkdex.com/en-us/about/bots/)
  • linkdexbot v2.1是我們更通用的網站爬蟲,幫助營銷人員檢測網站頁面的技術問題,有兩個版本:標準網路搜尋和移動搜尋配置。
    Mozilla/5.0 (compatible; linkdexbot/2.1; +https://www.linkdex.com/en-us/about/bots/)
    Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_1 like Mac OS X; en-us) AppleWebKit/532.9 (KHTML, like Gecko) Version/4.0.5 Mobile/8B117 Safari/6531.22.7 (compatible; linkdexbot-Mobile/2.1; +https://www.linkdex.com/en-us/about/bots/)

     

  • linkdexbot v2.2檢查被搜尋引擎排名的網頁內容。這有助於我們確定誰是有影響力的網站、品牌和撰寫不同主題的作者。
    Mozilla/5.0 (compatible; linkdexbot/2.2; +https://www.linkdex.com/en-us/about/bots/)
  • 早期版本的機器人名稱為linkdex.com/v2.0和linkdex.com/v2.1

負責任的抓取

Linkdex將尊重您在robots.txt檔案中列出的抓取頻率限制。Linkdex的抓取速度也相對較慢,通常在各網頁之間最多等待5秒鐘。這可確保您的網站效能不受任何影響。

聯絡資訊

如果您想討論Linkdex的網站爬蟲,請給Linkdex發電子郵件:support@linkdex.com,並在主題欄中註明網站爬蟲。

常見蜘蛛/爬蟲

Common Spiders
RidderBot
RidderBot蜘蛛/爬蟲屬於營銷型別,由Ridder開發執行。您可以繼續閱讀下方資訊,以深入瞭解RidderBot基本資訊,使用者代理和訪問控制等。
Upsales bot
Upsales bot蜘蛛/爬蟲屬於營銷型別,由Upsales Nordic AB開發執行。您可以繼續閱讀下方資訊,以深入瞭解Upsales bot基本資訊,使用者代理和訪問控制等。
HealRWorld
HealRWorld蜘蛛/爬蟲屬於營銷型別,由HealRWorld LLC.開發執行。您可以繼續閱讀下方資訊,以深入瞭解HealRWorld基本資訊,使用者代理和訪問控制等。
Scope3
Scope3蜘蛛/爬蟲屬於營銷型別,由Scope3, PBC.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Scope3基本資訊,使用者代理和訪問控制等。
MercuryLeads/1.0
MercuryLeads/1.0蜘蛛/爬蟲屬於營銷型別,由Mercury Leads開發執行。您可以繼續閱讀下方資訊,以深入瞭解MercuryLeads/1.0基本資訊,使用者代理和訪問控制等。
mediaboardbot
mediaboardbot蜘蛛/爬蟲屬於營銷型別,由Mediaboard s.r.o.開發執行。您可以繼續閱讀下方資訊,以深入瞭解mediaboardbot基本資訊,使用者代理和訪問控制等。
HaloScan bot
HaloScan bot蜘蛛/爬蟲屬於營銷型別,由ARCHI301開發執行。您可以繼續閱讀下方資訊,以深入瞭解HaloScan bot基本資訊,使用者代理和訪問控制等。
Matchory Bot
Matchory Bot蜘蛛/爬蟲屬於營銷型別,由Matchory GmbH開發執行。您可以繼續閱讀下方資訊,以深入瞭解Matchory Bot基本資訊,使用者代理和訪問控制等。

相關文章

Related Articles