如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案，分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點，及檢視搜尋引擎蜘蛛在一段時間內的行為。
| IP地址(20) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 3.80.199.255 | ec2-3-80-199-255.compute-1.amazonaws.com | ? |
| 54.198.91.249 | ec2-54-198-91-249.compute-1.amazonaws.com | US |
| 18.143.148.249 | ec2-18-143-148-249.ap-southeast-1.compute.amazonaws.com | SG |
| 52.221.181.165 | ec2-52-221-181-165.ap-southeast-1.compute.amazonaws.com | SG |
| 54.254.200.112 | ec2-54-254-200-112.ap-southeast-1.compute.amazonaws.com | SG |
| IP地址(20) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 52.55.151.228 | ec2-52-55-151-228.compute-1.amazonaws.com | US |
| 44.201.187.5 | ec2-44-201-187-5.compute-1.amazonaws.com | US |
| 54.81.28.98 | ec2-54-81-28-98.compute-1.amazonaws.com | US |
| 54.167.84.134 | ec2-54-167-84-134.compute-1.amazonaws.com | US |
| 3.239.221.20 | ec2-3-239-221-20.compute-1.amazonaws.com | US |
| IP地址(20) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 44.204.246.16 | ec2-44-204-246-16.compute-1.amazonaws.com | US |
| 107.23.124.231 | ec2-107-23-124-231.compute-1.amazonaws.com | US |
| 54.144.253.163 | ec2-54-144-253-163.compute-1.amazonaws.com | US |
| 3.85.9.197 | ec2-3-85-9-197.compute-1.amazonaws.com | US |
| 44.210.105.111 | ec2-44-210-105-111.compute-1.amazonaws.com | US |
| IP地址(9) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 54.169.208.252 | ec2-54-169-208-252.ap-southeast-1.compute.amazonaws.com | SG |
| 52.19.191.224 | ec2-52-19-191-224.eu-west-1.compute.amazonaws.com | IE |
| 52.49.232.148 | ec2-52-49-232-148.eu-west-1.compute.amazonaws.com | IE |
| 52.77.251.90 | ec2-52-77-251-90.ap-southeast-1.compute.amazonaws.com | SG |
| 52.36.94.35 | ec2-52-36-94-35.us-west-2.compute.amazonaws.com | US |
| IP地址(9) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 52.77.251.90 | ec2-52-77-251-90.ap-southeast-1.compute.amazonaws.com | SG |
| 54.169.208.252 | ec2-54-169-208-252.ap-southeast-1.compute.amazonaws.com | SG |
| 52.19.191.224 | ec2-52-19-191-224.eu-west-1.compute.amazonaws.com | IE |
| 52.49.232.148 | ec2-52-49-232-148.eu-west-1.compute.amazonaws.com | IE |
| 52.34.28.139 | ec2-52-34-28-139.us-west-2.compute.amazonaws.com | US |
| IP地址(1) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 54.169.208.252 | ec2-54-169-208-252.ap-southeast-1.compute.amazonaws.com | SG |
| IP地址(3) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 54.164.120.156 | ec2-54-164-120-156.compute-1.amazonaws.com | US |
| 52.1.172.87 | ec2-52-1-172-87.compute-1.amazonaws.com | US |
| 54.164.24.49 | ec2-54-164-24-49.compute-1.amazonaws.com | US |
| IP地址(3) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 52.0.110.70 | ec2-52-0-110-70.compute-1.amazonaws.com | US |
| 52.1.172.87 | ec2-52-1-172-87.compute-1.amazonaws.com | US |
| 54.164.24.49 | ec2-54-164-24-49.compute-1.amazonaws.com | US |
| IP地址(1) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 54.221.168.225 | ec2-54-221-168-225.compute-1.amazonaws.com | US |
對於未知蜘蛛或者爬蟲。它的用途對網站來說可能是好的，也可能是壞的，這取決於它是什麼。所以說，這需要站長進一步分析判斷這些尚不明確的爬蟲行為，再作最終決定。 但，根據以往的經驗，未宣告行為目的及未命名的蜘蛛爬蟲，通常都有不可告人的祕密，我們理應對其行為進行控制，比如攔截。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 slackbot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: slackbot Disallow: /
您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
Slack採用了幾個robot，用網路上的額外資訊來增強產品。你在這裡可能是因為你在訪問日誌中發現了Slackbot，可能會有一些疑惑。下面的內容則是來幫助您瞭解Slackbot。
Slack使用的每個機器人都通過其使用者代理唯一地識別自己。
Slackbot Link Expanding
Slackbot-LinkExpanding 1.0 (+https://api.slack.com/robots)
這個機器人對Slack使用者釋出到他們頻道的連結做出反應。它儘可能少地獲取頁面的內容（使用HTTP範圍頭），以提取關於內容的元標籤。具體來說，我們正在尋找oEmbed和Twitter Card/Open Graph標籤。如果一個頁面的標籤指向一個圖片、視訊或音訊檔案，我們也會獲取該檔案以檢查其有效性並提取其他後設資料。
一個使用oEmbed的富媒體例子：
一個使用Twitter Card/Open Graph標籤嵌入的例子：
對這些請求的迴應在整個服務中被快取了大約30分鐘。你不應該看到我們對同一URL的請求比這更頻繁。更多關於連結展開的工作方式，以顯示摘要內容。
Imgproxy
Slack-ImgProxy 0.19 (+https://api.slack.com/robots)
這個機器人用於獲取和快取釋出到Slack頻道的圖片。通過這種方式代理圖片，我們可以隱藏詳細的推薦人資訊（可能包括團隊和/或專案名稱），確保這些圖片通過HTTPS提供，並提高效能。
Slackbot
Slackbot 1.0(+https://api.slack.com/robots)
這是我們預設的，什麼都做的。任何時候，如果我們需要做一個不在上述範圍內的HTTP請求，我們就使用這個機器人。例如，為我們整合的服務提出API請求，或傳送使用者在其團隊中配置的Outgoing Webhooks。
由於爬蟲是由Slack團隊（不完美的人類）指揮機器人，他們完全有可能做一些他們不應該做的事情。Slack非常樂意將你的網站新增到阻止列表/允許列表中，或回答你關於我們機器人的問題。請聯絡我們，或給Slack發一條推特@slackapi。
Slackbot目前不遵循 robots.txt 檔案。在實施和試驗這樣做之後，Slack收到了太多來自使用者的抱怨，因為網際網路的很大一部分是爬蟲無法訪問的。由於Slack不是爬蟲（Slack不跟蹤連結，而且Slack是代表人類行事），停止像處理爬蟲一樣處理robots.txt檔案是合理的。如果您仍然希望您的網站被阻擋在slack.com的嵌入物之外，或者希望改變您的嵌入物的顯示方式，請聯絡Slack。
