ByteDance crawler

是否攔截ByteDance crawler？

一般不要攔截。搜尋引擎爬蟲為搜尋引擎提供動力，是使用者發現您網站的有效途徑。事實上，攔截搜尋引擎爬蟲可能會嚴重減少網站的自然流量。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 ByteDance crawler 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: ByteDance crawler
Disallow: /

您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

頭條搜尋UA介紹

PC

Mozilla/5.0 (compatible; Bytespider; https://zhanzhang.toutiao.com/) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.0.0 Safari/537.36

Android

Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/)

iOS

Mozilla/5.0 (iPhone; CPU iPhone OS 7_1_2 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Version/7.0 Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/)

頭條搜尋ip欄位介紹

頭條搜尋的ip欄位總共涉及10個ip，具體欄位如下：

• 110.249.201.0/24
• 110.249.202.0/24
• 111.225.148.0/24
• 111.225.149.0/24
• 220.243.135.0/24
• 220.243.136.0/24
• 220.243.188.0/24
• 220.243.189.0/24
• 60.8.123.0/24
• 60.8.151.0/24

基本流程

1. 抓取網頁

每個獨立的搜尋引擎都有自己的網頁抓取程式爬蟲（Spider）。爬蟲順著網頁中的超連結，從這個網站爬到另一個網站，通過超連結分析連續訪問抓取更多網頁。被抓取的網頁被稱之為網頁快照。由於網際網路中超連結的應用很普遍，理論上，從一定範圍的網頁出發，就能蒐集到絕大多數的網頁。

2. 處理網頁

搜尋引擎抓到網頁後，還要做大量的預處理工作，才能提供檢索服務。其中，最重要的就是提取關鍵詞，建立索引庫和索引。其他還包括去除重複網頁、分詞（中文）、判斷網頁型別、分析超連結、計算網頁的重要度/豐富度等。

3. 提供檢索服務

使用者輸入關鍵詞進行檢索，搜尋引擎從索引資料庫中找到匹配該關鍵詞的網頁；為了使用者便於判斷，除了網頁標題和URL外，還會提供一段來自網頁的摘要以及其他資訊。

Bytespider IP反解析

反查IP

站長可以通過DNS反查IP的方式判斷某隻spider是否來自頭條搜尋引擎。根據平臺不同驗證方法不同，如linux/windows/os三種平臺下的驗證方法分別如下

1. 在linux平臺下，您可以使用host ip命令反解ip來判斷是否來自Bytespider的抓取。Bytespider的hostname以*.bytedance.com的格式命名，非 *.bytedance.com即為冒充

   host 111.225.148.250148.148.225.111.in-addr.arpa domain name pointer bytespider-111-225-148-148.crawl.bytedance.com.

2. 在windows平臺或者IBM OS/2平臺下，您可以使用nslookup ip命令反解ip來判斷是否來自Bytespider的抓取。開啟命令處理器 輸入nslookup  -qt=ptr  xxx.xxx.xxx.xxx(IP地 址)就能解析ip，來判斷是否來自Bytespider的抓取，Bytespider的hostname以*.bytedance.com 的格式命名，非*.bytedance.com 即為冒充。
3. 在mac os平臺下，您可以使用dig命令反解ip來判斷是否來自Bytespider的抓取。開啟命令處理器輸入dig -x xxx.xxx.xxx.xxx(IP地址)就能解析ip， 來判斷是否來自Bytespider的抓取，Bytespider的hostname以 *.bytedance.com的格式命名，非 *.bytedance.com即為冒充。

問題反饋

1. 如果您的網站發現有頭條spider的UA Bytespider 抓取存在抓取量過大，導致您的網站出現緩慢、宕機等問題，您可以通過“抓取頻次”功能，對網站進行設定抓取要求，Bytespider會在1天內時間內生效。
2. 關於spider有其他問題，可以向zhanzhang@bytedance.com提交反饋，位元組跳動會及時處理。