Applebot 是什么蜘蛛
在查看Nginx日志时，除了常见的百度google搜狗等蜘蛛外，意外发现如下一个爬虫来过的记录：
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.1.1 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot是蜘蛛吗？如果是，是什么蜘蛛呢？
Applebot 是 Apple 推出的网络爬虫工具。“Siri 建议”和“聚焦建议”等产品均使用 Applebot。
▶ 识别 Applebot
来自 Applebot 的流量可通过它的用户代理进行识别，反向 DNS 会以 *.applebot.apple.com 域（源自 17.0.0.0 网络块）格式显示这类流量。
▶ 确认流量是不是来自 Applebot
在 macOS 中，可以使用 host 命令来确定 IP 地址是不是 Applebot 的一部分。以下示例显示了 host 命令和相应的结果：
$ host 17.58.101.179
179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.
另外，host 命令还可用于确认 DNS 是不是指向同一 IP 地址：
$ host 17-58-101-179.applebot.apple.com
17-58-101-179.applebot.apple.com has address 17.58.101.179.
▶ 确认 Applebot 用户代理
用户代理字符串包含“Applebot”和其他信息。格式如下：
Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)
Version/Safari_version Safari/WebKit_version (Applebot/Applebot_version)
适用于台式电脑的示例：
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5
(KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/605.1.15
(KHTML, like Gecko) Version/12.1.1 Safari/605.1.15 (Applebot/0.1)
适用于移动设备的示例：
Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4
(KHTML, like Gecko) Version/8.0 Mobile/12B410 Safari/600.1.4 (Applebot/0.1;
+http://www.apple.com/go/applebot)
Mozilla/5.0 (iPhone; CPU iPhone OS 13_4_1 like Mac OS X) AppleWebKit/605.1.15Z
(KHTML, like Gecko) Version/13.1 Mobile/15E148 Safari/604.1 (Applebot/0.1)
Applebot 遵循以 Applebot 为目标的标准 robots.txt 指令。在以下示例中，Applebot 不会尝试抓取 /private/ 或 /not-allowed/ 下的文稿：
User-agent: Applebot # apple
Allow: / # Allow everything (also true if omitted)
Disallow: /private/ # disallow this directory
User-agent: * # any robot
Disallow: /not-allowed/ # disallow this directory
如果机器人指令没有提及 Applebot，但提及了 Googlebot，则 Apple 机器人会遵循 Googlebot 指令。
▶ 呈现和机器人规则
Applebot 可在浏览器中呈现您网站的内容。如果通过 robots.txt 阻止了 javascript、CSS 和其他资源，则可能无法正常呈现内容。这包括页面可能需要的 XHR、JS 和 CSS。
为了让 Applebot 针对页面的最佳内容创建索引，请确保 Applebot 能够访问用户呈现页面所需的一切内容。或者，确保网站简洁地呈现出来，即使所有资源都不可用。这通常称为平稳退化。
▶ 为 Applebot 自定索引规则
Applebot 支持 HTML 文稿中的 robots 元标签。要在元标签中指定 robots 规则，请将标签置于文稿的 <head> 部分中（如下所示）：
<html><head>
<meta name="robots" content="noindex"/>
...
</head>
<body>...</body>
</html>
Applebot 还支持以下指令：
noindex：Applebot 不会针对这个页面创建索引，也不会出现在“聚焦建议”或“Siri 建议”中。
nosnippet：Applebot 不会为页面生成描述或网页应答。所有示意访问这个 URL 的建议都仅包含页面的标题。
nofollow：Applebot 不会追踪页面上的任何链接。
none：如上所述，Applebot 不会针对页面创建索引、生成片段或追踪页面上所示的链接。
all：Applebot 会针对建议提供文稿并生成内容片段，以便在具有代表性的图片旁边显示有关页面的简短描述。Applebot 可能会追踪页面上所示的链接，以提供更多建议。
要将多个指令置于单个元标签中，请使用以逗号分隔的列表或使用多个元标签。示例：
<meta name="robots" content="nosnippet, noindex”>
<meta name="robots" content=“noindex">
<meta name="robots" content=“nosnippet">
▶ 关于搜索排名
在对网页搜索结果进行排名时，Apple Search 可能会考虑以下因素：
用户对于搜索结果的聚合参与度
搜索词与网页主题和内容的相关性和匹配度
网站其他页面中的链接的数量和质量
基于用户位置的信号（近似数据）
网页设计特征
参考
