如何做搜索引擎蜘蛛日志分析
搜索引擎蜘蛛日志文件是一种非常强大但未被站长充分利用的文件，分析它可以获取有关每个搜索引擎如何爬取网站内容的相关信息点，及查看搜索引擎蜘蛛在一段时间内的行为。
| IP地址(10) | 服务器名称 | 所属国家 |
|---|---|---|
| 122.148.146.167 | 167.146.148.122.sta.wbroadband.net.au | AU |
| 17.133.2.237 | ? | US |
| 17.133.7.224 | ? | US |
| 17.133.9.249 | ? | US |
| 17.142.142.165 | ? | US |
| IP地址(10) | 服务器名称 | 所属国家 |
|---|---|---|
| 17.121.115.200 | 17-121-115-200.applebot.apple.com | US |
| 17.121.113.23 | 17-121-113-23.applebot.apple.com | US |
| 17.121.114.75 | 17-121-114-75.applebot.apple.com | US |
| 17.121.114.29 | 17-121-114-29.applebot.apple.com | US |
| 17.121.113.173 | 17-121-113-173.applebot.apple.com | US |
| IP地址(10) | 服务器名称 | 所属国家 |
|---|---|---|
| 17.58.97.30 | 17-58-97-30.applebot.apple.com | US |
| 17.58.98.60 | 17-58-98-60.applebot.apple.com | US |
| 17.58.98.61 | 17-58-98-61.applebot.apple.com | US |
| 17.58.98.72 | 17-58-98-72.applebot.apple.com | US |
| 17.58.98.63 | 17-58-98-63.applebot.apple.com | US |
| IP地址(10) | 服务器名称 | 所属国家 |
|---|---|---|
| 17.58.101.124 | 17-58-101-124.applebot.apple.com | US |
| 17.142.159.140 | 17-142-159-140.applebot.apple.com | US |
| 17.142.154.44 | 17-142-154-44.applebot.apple.com | US |
| 17.142.157.153 | 17-142-157-153.applebot.apple.com | US |
| 17.142.155.146 | 17-142-155-146.applebot.apple.com | US |
| IP地址(16) | 服务器名称 | 所属国家 |
|---|---|---|
| 17.138.57.86 | 17.138.57.86 | US |
| 17.138.55.230 | 17.138.55.230 | US |
| 17.138.55.231 | 17.138.55.231 | US |
| 17.138.55.165 | ? | US |
| 17.138.55.169 | 17.138.55.169 | US |
| IP地址(10) | 服务器名称 | 所属国家 |
|---|---|---|
| 17.138.55.235 | 17.138.55.235 | US |
| 17.138.57.15 | ? | US |
| 17.138.56.15 | ? | US |
| 17.138.56.19 | ? | US |
| 17.138.56.12 | 17.138.56.12 | US |
| IP地址(1422) | 服务器名称 | 所属国家 |
|---|---|---|
| 17.121.114.17 | 17-121-114-17.applebot.apple.com | US |
| 17.121.115.107 | 17-121-115-107.applebot.apple.com | US |
| 17.121.112.3 | 17-121-112-3.applebot.apple.com | US |
| 17.121.115.111 | 17-121-115-111.applebot.apple.com | US |
| 17.121.112.193 | 17-121-112-193.applebot.apple.com | US |
| IP地址(6) | 服务器名称 | 所属国家 |
|---|---|---|
| 17.138.58.92 | ? | US |
| 17.138.55.12 | ? | US |
| 17.138.54.28 | ? | US |
| 17.138.58.82 | ? | US |
| 17.138.57.145 | ? | US |
一般不要拦截。搜索引擎爬虫为搜索引擎提供动力，是用户发现您网站的有效途径。事实上，拦截搜索引擎爬虫可能会严重减少网站的自然流量。
您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 Applebot 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。
# robots.txt # 下列代码一般情况可以拦截该代理 User-agent: Applebot Disallow: /
您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。
Applebot 是 Apple 推出的网络爬虫工具。“Siri 建议”和“聚焦建议”等产品均使用 Applebot。
来自 Applebot 的流量可通过它的用户代理进行识别，反向 DNS 会以 *.applebot.apple.com 域（源自 17.0.0.0 网络块）格式显示这类流量。
在 macOS 中，可以使用 host 命令来确定 IP 地址是不是 Applebot 的一部分。以下示例显示了 host 命令和相应的结果：
$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.
另外，host 命令还可用于确认 DNS 是不是指向同一 IP 地址：
$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.
用户代理字符串包含“Applebot”和其他信息。格式如下：
Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko) Version/Safari_version Safari/WebKit_version (Applebot/Applebot_version)
适用于台式电脑的示例：
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.1.1 Safari/605.1.15 (Applebot/0.1)
适用于移动设备的示例：
Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B410 Safari/600.1.4 (Applebot/0.1; +http://www.apple.com/go/applebot)
Mozilla/5.0 (iPhone; CPU iPhone OS 13_4_1 like Mac OS X) AppleWebKit/605.1.15Z (KHTML, like Gecko) Version/13.1 Mobile/15E148 Safari/604.1 (Applebot/0.1)
Applebot 遵循以 Applebot 为目标的标准 robots.txt 指令。在以下示例中，Applebot 不会尝试抓取 /private/ 或 /not-allowed/ 下的文稿：
User-agent: Applebot # apple Allow: / # Allow everything (also true if omitted) Disallow: /private/ # disallow this directory
User-agent: * # any robot Disallow: /not-allowed/ # disallow this directory
如果机器人指令没有提及 Applebot，但提及了 Googlebot，则 Apple 机器人会遵循 Googlebot 指令。
Applebot 可在浏览器中呈现您网站的内容。如果通过 robots.txt 阻止了 javascript、CSS 和其他资源，则可能无法正常呈现内容。这包括页面可能需要的 XHR、JS 和 CSS。
为了让 Applebot 针对页面的最佳内容创建索引，请确保 Applebot 能够访问用户呈现页面所需的一切内容。或者，确保网站简洁地呈现出来，即使所有资源都不可用。这通常称为平稳退化。
Applebot 支持 HTML 文稿中的 robots 元标签。要在元标签中指定 robots 规则，请将标签置于文稿的 <head> 部分中（如下所示）：
<html><head> <meta name="robots" content="noindex"/> ... </head> <body>...</body> </html>
Applebot 还支持以下指令：
要将多个指令置于单个元标签中，请使用以逗号分隔的列表或使用多个元标签。示例：
<meta name="robots" content="nosnippet, noindex”>
<meta name="robots" content=“noindex">
<meta name="robots" content=“nosnippet">
在对网页搜索结果进行排名时，Apple Search 可能会考虑以下因素：
在预先没有确定排名重要性的情况下，搜索结果可能会使用上述因素。Search 用户应遵守“Siri 建议、搜索与隐私”中的隐私政策。
