如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案,分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點,及檢視搜尋引擎蜘蛛在一段時間內的行為。
| IP地址(173) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 51.52.86.158 | ? | GB |
| 91.193.166.194 | skuns.zoral.com.ua | UA |
| 107.22.137.149 | ec2-107-22-137-149.compute-1.amazonaws.com | US |
| 23.23.27.206 | ec2-23-23-27-206.compute-1.amazonaws.com | US |
| 91.84.223.170 | 91.84.223.170 | UK |
| IP地址(10) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 54.224.62.135 | ec2-54-224-62-135.compute-1.amazonaws.com | US |
| 35.153.134.140 | ec2-35-153-134-140.compute-1.amazonaws.com | US |
| 18.234.245.196 | ec2-18-234-245-196.compute-1.amazonaws.com | US |
| 54.157.27.155 | ec2-54-157-27-155.compute-1.amazonaws.com | US |
| 54.152.244.139 | ec2-54-152-244-139.compute-1.amazonaws.com | US |
| IP地址(1) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 52.90.230.67 | ec2-52-90-230-67.compute-1.amazonaws.com | US |
| IP地址(110) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 185.184.157.95 | ? | US |
| 185.184.157.81 | ? | US |
| 185.184.157.102 | ? | US |
| 185.184.157.90 | ? | US |
| 185.184.157.94 | ? | US |
| IP地址(10) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 54.205.69.117 | ec2-54-205-69-117.compute-1.amazonaws.com | US |
| 174.129.69.144 | ec2-174-129-69-144.compute-1.amazonaws.com | US |
| 54.197.15.135 | ec2-54-197-15-135.compute-1.amazonaws.com | US |
| 50.19.2.248 | ec2-50-19-2-248.compute-1.amazonaws.com | US |
| 23.20.52.49 | ec2-23-20-52-49.compute-1.amazonaws.com | US |
| IP地址(4) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 52.203.8.219 | ec2-52-203-8-219.compute-1.amazonaws.com | US |
| 50.19.96.213 | ec2-50-19-96-213.compute-1.amazonaws.com | US |
| 23.20.235.176 | ec2-23-20-235-176.compute-1.amazonaws.com | US |
| 107.20.14.241 | ec2-107-20-14-241.compute-1.amazonaws.com | US |
| IP地址(1) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 23.20.235.176 | ec2-23-20-235-176.compute-1.amazonaws.com | US |
| IP地址(3) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 174.129.111.149 | ec2-174-129-111-149.compute-1.amazonaws.com | US |
| 174.129.90.83 | ec2-174-129-90-83.compute-1.amazonaws.com | US |
| 75.101.196.118 | ec2-75-101-196-118.compute-1.amazonaws.com | US |
一般不需要攔截,尤其是如果你自己也受益於搜尋引擎優化服務。不過,如果你擔心伺服器資源佔用等問題,且您都不使用這些工具,當然也可以選擇攔截它們。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 linkdexbot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: linkdexbot Disallow: /
您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
Linkdex是一個企業級平臺,將團隊管理軟體與搜尋引擎優化工具結合起來。有時,Linkdex會抓取網站以瞭解反向連結情況,或為Linkdex的使用者收集資訊,以便他們能夠改進其網站和SEO策略。
與某些爬蟲不同,Linkdex的機器人不會隨意在網際網路上抓取資訊。Linkdex只抓取Linkdex的使用者認為相關的網頁。
如果您的網站已被抓取,Linkdex的機器人將出現在您的分析/伺服器日誌中,並提供以下詳細資訊。
Mozilla/5.0 (compatible; linkdexbot/2.0; +https://www.linkdex.com/en-us/about/bots/)
Mozilla/5.0 (compatible; linkdexbot/2.1; +https://www.linkdex.com/en-us/about/bots/) Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_1 like Mac OS X; en-us) AppleWebKit/532.9 (KHTML, like Gecko) Version/4.0.5 Mobile/8B117 Safari/6531.22.7 (compatible; linkdexbot-Mobile/2.1; +https://www.linkdex.com/en-us/about/bots/)
Mozilla/5.0 (compatible; linkdexbot/2.2; +https://www.linkdex.com/en-us/about/bots/)
Linkdex將尊重您在robots.txt檔案中列出的抓取頻率限制。Linkdex的抓取速度也相對較慢,通常在各網頁之間最多等待5秒鐘。這可確保您的網站效能不受任何影響。
如果您想討論Linkdex的網站爬蟲,請給Linkdex發電子郵件:support@linkdex.com,並在主題欄中註明網站爬蟲。