如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案，分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點，及檢視搜尋引擎蜘蛛在一段時間內的行為。
| IP地址(10) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 122.148.146.167 | 167.146.148.122.sta.wbroadband.net.au | AU |
| 17.133.2.237 | ? | US |
| 17.133.7.224 | ? | US |
| 17.133.9.249 | ? | US |
| 17.142.142.165 | ? | US |
| IP地址(10) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 17.121.115.200 | 17-121-115-200.applebot.apple.com | US |
| 17.121.113.23 | 17-121-113-23.applebot.apple.com | US |
| 17.121.114.75 | 17-121-114-75.applebot.apple.com | US |
| 17.121.114.29 | 17-121-114-29.applebot.apple.com | US |
| 17.121.113.173 | 17-121-113-173.applebot.apple.com | US |
| IP地址(10) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 17.58.97.30 | 17-58-97-30.applebot.apple.com | US |
| 17.58.98.60 | 17-58-98-60.applebot.apple.com | US |
| 17.58.98.61 | 17-58-98-61.applebot.apple.com | US |
| 17.58.98.72 | 17-58-98-72.applebot.apple.com | US |
| 17.58.98.63 | 17-58-98-63.applebot.apple.com | US |
| IP地址(10) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 17.58.101.124 | 17-58-101-124.applebot.apple.com | US |
| 17.142.159.140 | 17-142-159-140.applebot.apple.com | US |
| 17.142.154.44 | 17-142-154-44.applebot.apple.com | US |
| 17.142.157.153 | 17-142-157-153.applebot.apple.com | US |
| 17.142.155.146 | 17-142-155-146.applebot.apple.com | US |
| IP地址(16) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 17.138.57.86 | 17.138.57.86 | US |
| 17.138.55.230 | 17.138.55.230 | US |
| 17.138.55.231 | 17.138.55.231 | US |
| 17.138.55.165 | ? | US |
| 17.138.55.169 | 17.138.55.169 | US |
| IP地址(10) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 17.138.55.235 | 17.138.55.235 | US |
| 17.138.57.15 | ? | US |
| 17.138.56.15 | ? | US |
| 17.138.56.19 | ? | US |
| 17.138.56.12 | 17.138.56.12 | US |
| IP地址(1422) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 17.121.114.17 | 17-121-114-17.applebot.apple.com | US |
| 17.121.115.107 | 17-121-115-107.applebot.apple.com | US |
| 17.121.112.3 | 17-121-112-3.applebot.apple.com | US |
| 17.121.115.111 | 17-121-115-111.applebot.apple.com | US |
| 17.121.112.193 | 17-121-112-193.applebot.apple.com | US |
| IP地址(6) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 17.138.58.92 | ? | US |
| 17.138.55.12 | ? | US |
| 17.138.54.28 | ? | US |
| 17.138.58.82 | ? | US |
| 17.138.57.145 | ? | US |
一般不要攔截。搜尋引擎爬蟲為搜尋引擎提供動力，是使用者發現您網站的有效途徑。事實上，攔截搜尋引擎爬蟲可能會嚴重減少網站的自然流量。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Applebot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: Applebot Disallow: /
您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
Applebot 是 Apple 推出的網路爬蟲工具。“Siri 建議”和“聚焦建議”等產品均使用 Applebot。
來自 Applebot 的流量可通過它的使用者代理進行識別，反向 DNS 會以 *.applebot.apple.com 域（源自 17.0.0.0 網路塊）格式顯示這類流量。
在 macOS 中，可以使用 host 命令來確定 IP 地址是不是 Applebot 的一部分。以下示例顯示了 host 命令和相應的結果：
$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.
另外，host 命令還可用於確認 DNS 是不是指向同一 IP 地址：
$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.
使用者代理字串包含“Applebot”和其他資訊。格式如下：
Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko) Version/Safari_version Safari/WebKit_version (Applebot/Applebot_version)
適用於臺式電腦的示例：
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.1.1 Safari/605.1.15 (Applebot/0.1)
適用於移動裝置的示例：
Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B410 Safari/600.1.4 (Applebot/0.1; +http://www.apple.com/go/applebot)
Mozilla/5.0 (iPhone; CPU iPhone OS 13_4_1 like Mac OS X) AppleWebKit/605.1.15Z (KHTML, like Gecko) Version/13.1 Mobile/15E148 Safari/604.1 (Applebot/0.1)
Applebot 遵循以 Applebot 為目標的標準 robots.txt 指令。在以下示例中，Applebot 不會嘗試抓取 /private/ 或 /not-allowed/ 下的文稿：
User-agent: Applebot # apple Allow: / # Allow everything (also true if omitted) Disallow: /private/ # disallow this directory
User-agent: * # any robot Disallow: /not-allowed/ # disallow this directory
如果機器人指令沒有提及 Applebot，但提及了 Googlebot，則 Apple 機器人會遵循 Googlebot 指令。
Applebot 可在瀏覽器中呈現您網站的內容。如果通過 robots.txt 阻止了 javascript、CSS 和其他資源，則可能無法正常呈現內容。這包括頁面可能需要的 XHR、JS 和 CSS。
為了讓 Applebot 針對頁面的最佳內容建立索引，請確保 Applebot 能夠訪問使用者呈現頁面所需的一切內容。或者，確保網站簡潔地呈現出來，即使所有資源都不可用。這通常稱為平穩退化。
Applebot 支援 HTML 文稿中的 robots 元標籤。要在元標籤中指定 robots 規則，請將標籤置於文稿的 <head> 部分中（如下所示）：
<html><head> <meta name="robots" content="noindex"/> ... </head> <body>...</body> </html>
Applebot 還支援以下指令：
要將多個指令置於單個元標籤中，請使用以逗號分隔的列表或使用多個元標籤。示例：
<meta name="robots" content="nosnippet, noindex”>
<meta name="robots" content=“noindex">
<meta name="robots" content=“nosnippet">
在對網頁搜尋結果進行排名時，Apple Search 可能會考慮以下因素：
在預先沒有確定排名重要性的情況下，搜尋結果可能會使用上述因素。Search 使用者應遵守“Siri 建議、搜尋與隱私”中的隱私政策。
