如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案，分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點，及檢視搜尋引擎蜘蛛在一段時間內的行為。
| IP地址(24) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 107.22.195.49 | ec2-107-22-195-49.compute-1.amazonaws.com | US |
| 35.175.215.14 | ec2-35-175-215-14.compute-1.amazonaws.com | US |
| 35.153.142.185 | ec2-35-153-142-185.compute-1.amazonaws.com | US |
| 54.209.108.58 | ec2-54-209-108-58.compute-1.amazonaws.com | US |
| 100.24.64.38 | ec2-100-24-64-38.compute-1.amazonaws.com | US |
| 52.91.56.106 | ec2-52-91-56-106.compute-1.amazonaws.com | US |
| 35.153.166.147 | ec2-35-153-166-147.compute-1.amazonaws.com | US |
| 3.93.50.171 | ec2-3-93-50-171.compute-1.amazonaws.com | US |
| 52.23.246.30 | ec2-52-23-246-30.compute-1.amazonaws.com | US |
| 54.81.29.8 | ec2-54-81-29-8.compute-1.amazonaws.com | US |
| 34.228.214.222 | ec2-34-228-214-222.compute-1.amazonaws.com | US |
| 54.144.35.76 | ec2-54-144-35-76.compute-1.amazonaws.com | US |
| 3.86.5.11 | ec2-3-86-5-11.compute-1.amazonaws.com | US |
| 52.206.196.64 | ec2-52-206-196-64.compute-1.amazonaws.com | US |
| 23.20.224.216 | ec2-23-20-224-216.compute-1.amazonaws.com | US |
| 34.203.194.132 | ec2-34-203-194-132.compute-1.amazonaws.com | US |
| 3.85.4.81 | ec2-3-85-4-81.compute-1.amazonaws.com | US |
| 34.235.161.174 | ec2-34-235-161-174.compute-1.amazonaws.com | US |
| 3.89.72.104 | ec2-3-89-72-104.compute-1.amazonaws.com | US |
| 54.80.48.51 | ec2-54-80-48-51.compute-1.amazonaws.com | US |
| IP地址(24) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 34.228.214.222 | ec2-34-228-214-222.compute-1.amazonaws.com | US |
| 54.144.35.76 | ec2-54-144-35-76.compute-1.amazonaws.com | US |
| 3.86.5.11 | ec2-3-86-5-11.compute-1.amazonaws.com | US |
| 52.206.196.64 | ec2-52-206-196-64.compute-1.amazonaws.com | US |
| 23.20.224.216 | ec2-23-20-224-216.compute-1.amazonaws.com | US |
| 34.203.194.132 | ec2-34-203-194-132.compute-1.amazonaws.com | US |
| 3.85.4.81 | ec2-3-85-4-81.compute-1.amazonaws.com | US |
| 34.235.161.174 | ec2-34-235-161-174.compute-1.amazonaws.com | US |
| 3.89.72.104 | ec2-3-89-72-104.compute-1.amazonaws.com | US |
| 54.80.48.51 | ec2-54-80-48-51.compute-1.amazonaws.com | US |
對於未知蜘蛛或者爬蟲。它的用途對網站來說可能是好的，也可能是壞的，這取決於它是什麼。所以說，這需要站長進一步分析判斷這些尚不明確的爬蟲行為，再作最終決定。 但，根據以往的經驗，未宣告行為目的及未命名的蜘蛛爬蟲，通常都有不可告人的祕密，我們理應對其行為進行控制，比如攔截。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Cloud mapping 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: Cloud mapping Disallow: /
您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
