如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案，分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點，及檢視搜尋引擎蜘蛛在一段時間內的行為。
| IP地址(10) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 95.216.155.107 | static.107.155.216.95.clients.your-server.de | FI |
| 65.21.60.220 | static.220.60.21.65.clients.your-server.de | FI |
| 111.13.63.101 | 111.13.63.101 | CN |
| 118.194.234.87 | 118.194.234.87 | SG |
| 23.91.97.30 | 23.91.97.30 | HK |
| IP地址(10) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 188.146.96.231 | 188.146.96.231.nat.umts.dynamic.t-mobile.pl | PL |
| 45.76.120.93 | 45.76.120.93.vultr.com | AU |
| 52.28.3.120 | ec2-52-28-3-120.eu-central-1.compute.amazonaws.com | DE |
| 18.194.222.6 | ec2-18-194-222-6.eu-central-1.compute.amazonaws.com | DE |
| 52.28.232.51 | ec2-52-28-232-51.eu-central-1.compute.amazonaws.com | DE |
| IP地址(4) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 13.211.80.122 | ec2-13-211-80-122.ap-southeast-2.compute.amazonaws.com | AU |
| 13.238.200.198 | ec2-13-238-200-198.ap-southeast-2.compute.amazonaws.com | AU |
| 52.65.190.213 | ec2-52-65-190-213.ap-southeast-2.compute.amazonaws.com | AU |
| 13.211.128.56 | ec2-13-211-128-56.ap-southeast-2.compute.amazonaws.com | AU |
| IP地址(7) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 13.211.157.43 | ec2-13-211-157-43.ap-southeast-2.compute.amazonaws.com | AU |
| 54.206.39.12 | ec2-54-206-39-12.ap-southeast-2.compute.amazonaws.com | AU |
| 13.236.6.120 | ec2-13-236-6-120.ap-southeast-2.compute.amazonaws.com | AU |
| 13.210.49.190 | ec2-13-210-49-190.ap-southeast-2.compute.amazonaws.com | AU |
| 13.210.72.243 | ec2-13-210-72-243.ap-southeast-2.compute.amazonaws.com | AU |
| IP地址(1) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 52.74.22.169 | ec2-52-74-22-169.ap-southeast-1.compute.amazonaws.com | SG |
| IP地址(69) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 35.206.147.48 | 48.147.206.35.bc.googleusercontent.com | US |
| 35.210.4.104 | 104.4.210.35.bc.googleusercontent.com | BE |
| 35.206.158.187 | 187.158.206.35.bc.googleusercontent.com | BE |
| 35.210.207.166 | 166.207.210.35.bc.googleusercontent.com | US |
| 116.203.34.37 | static.37.34.203.116.clients.your-server.de | DE |
| IP地址(2) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 104.152.208.185 | ? | CA |
| 104.223.3.21 | ? | US |
可能不需要。工具型別爬蟲通常為網站所有者使用此類工具對網站進行相關服務請求才會出現。當然，實際情況需站長判斷後再作決定。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Wappalyzer 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: Wappalyzer Disallow: /
您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
Wappalyzer旨在幫助技術人員找出任何網站的技術棧。建立使用某些技術的網站清單，並附上公司和聯絡細節。使用我們的工具來創造商機，進行市場分析和競爭者研究。
Wappalyzer既然需要挖掘網站所使用的技術棧，自然需要利用爬蟲技術對網站前端程式碼進行分析。
如果您看到與上方Useragent或者IP地址資訊，則可以斷定是某人通過Wappalyzer瀏覽器擴充套件分析您的網站，無需大驚小怪。
