NaverBot

NaverBot蜘蛛/爬蟲屬於搜尋引擎型別,由NAVER Corp開發執行。您可以繼續閱讀下方資訊,以深入瞭解NaverBot基本資訊,使用者代理和訪問控制等。

基本資訊

NaverBot的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲,可能存在資訊不明的情況。
蜘蛛/爬蟲名稱
NaverBot
型別
搜尋引擎 , 資訊流
開發商
NAVER Corp
當前狀態
活動

使用者代理

關於NaverBot蜘蛛或者爬蟲的使用者代理字串,IP地址和伺服器,所在地等資訊如下表格所示:
Yeti/1.1
使用者代理字串
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Yeti/1.1; +https://naver.me/spd) Chrome/101.0.4951.0 Safari/537.36
首次出現
2022-07-21 14:23:59
最後出現
2022-09-06 05:14:20
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
125.209.235.181 crawl.125-209-235-181.web.naver.com KR
211.249.46.26 crawl.211-249-46-26.web.naver.com ?
125.209.235.178 crawl.125-209-235-178.web.naver.com ?
125.209.235.171 crawl.125-209-235-171.web.naver.com KR
114.111.32.163 crawl.114-111-32-163.web.naver.com KR
使用者代理字串
Mozilla/5.0 (compatible; Yeti/1.1; +http://naver.me/spd)
首次出現
2018-04-03 09:36:02
最後出現
2022-07-21 08:11:10
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
110.93.150.166 crawl.110-93-150-166.web.naver.com KR
125.209.235.175 crawl.125-209-235-175.web.naver.com KR
125.209.235.176 crawl.125-209-235-176.web.naver.com KR
125.209.235.186 crawl.125-209-235-186.web.naver.com KR
125.209.235.171 crawl.125-209-235-171.web.naver.com KR
使用者代理字串
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Yeti/1.1; +http://naver.me/spd) Chrome/101.0.4951.0 Safari/537.36
首次出現
2022-07-19 04:37:34
最後出現
2022-07-19 04:37:34
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
147.92.153.11 crawl.147-92-153-11.search.line-apps.com ?
使用者代理字串
Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.0 Safari/537.36 (compatible; Yeti/1.1; +http://naver.me/spd)
首次出現
2020-09-21 23:05:19
最後出現
2022-07-04 08:01:49
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
125.209.235.173 crawl.125-209-235-173.web.naver.com KR
125.209.235.175 crawl.125-209-235-175.web.naver.com KR
125.209.235.186 crawl.125-209-235-186.web.naver.com KR
110.93.150.193 crawl.110-93-150-193.web.naver.com KR
110.93.150.78 crawl.110-93-150-78.web.naver.com KR
使用者代理字串
Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.0 Safari/537.36 (compatible; Yeti/1.1; +http://naver.me/spd)
首次出現
2019-06-21 02:04:17
最後出現
2022-04-04 11:22:42
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
125.209.235.177 crawl.125-209-235-177.web.naver.com KR
125.209.235.171 crawl.125-209-235-171.web.naver.com KR
125.209.235.169 crawl.125-209-235-169.web.naver.com KR
125.209.235.184 crawl.125-209-235-184.web.naver.com KR
125.209.235.183 crawl.125-209-235-183.web.naver.com KR
使用者代理字串
Mozilla/5.0 (compatible; Yeti/1.1; +http://naver.me/bot)
首次出現
2017-01-19 02:30:37
最後出現
2018-08-14 16:23:47
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
125.209.235.171 crawl.125-209-235-171.web.naver.com KR
125.209.235.182 crawl.125-209-235-182.web.naver.com KR
125.209.235.181 crawl.125-209-235-181.web.naver.com KR
125.209.235.175 crawl.125-209-235-175.web.naver.com KR
125.209.235.184 crawl.125-209-235-184.web.naver.com KR
使用者代理字串
Yeti/1.1 (Naver Corp.; http://help.naver.com/robots/)
首次出現
2013-12-15 01:51:48
最後出現
2018-01-29 08:01:31
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
125.209.211.208 125.209.211.208 KR
125.209.211.207 125.209.211.207 KR
125.209.211.209 125.209.211.209 KR
125.209.211.201 125.209.211.201 KR
125.209.211.203 125.209.211.203 KR
使用者代理字串
Mozilla/5.0 (compatible; Yeti/1.1; +http://help.naver.com/support/robots.html)
首次出現
2016-05-24 08:15:00
最後出現
2017-01-15 08:27:01
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
125.209.235.174 crawl.125-209-235-174.web.naver.com KR
125.209.235.180 ? KR
125.209.235.178 ? KR
125.209.235.176 ? KR
125.209.235.173 crawl.125-209-235-173.web.naver.com KR
使用者代理字串
Mozilla/5.0 (compatible; Yeti/1.1; +http://help.naver.com/robots/)
首次出現
2014-10-01 20:00:00
最後出現
2016-05-14 06:44:31
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
125.209.235.168 125.209.235.168 KR
125.209.235.180 125.209.235.180 KR
125.209.235.182 ? KR
125.209.235.174 125.209.235.174 KR
125.209.235.186 125.209.235.186 KR
使用者代理字串
Yeti/1.1 (NHN Corp.; http://help.naver.com/robots/)
首次出現
2012-12-21 19:18:43
最後出現
2013-11-03 04:26:05
遵循robots.txt
來源
IP地址(499) 伺服器名稱 所屬國家
125.209.235.179 crawl.125-209-235-179.web.naver.com KR
211.249.46.26 crawl.211-249-46-26.web.naver.com KR
125.209.235.186 125.209.235.186 KR
125.209.235.167 ? KR
125.209.235.170 crawl.125-209-235-170.web.naver.com KR
使用者代理字串
Yeti/1.1 (NHN Corp.; http://help.naver.com/robots/)
首次出現
2012-12-21 19:18:43
最後出現
2013-11-03 04:26:05
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
61.247.212.196 61.247.212.196 KR
61.247.212.189 61.247.212.189 KR
61.247.212.191 61.247.212.191 KR
125.209.224.107 125.209.224.107 KR
125.209.224.113 125.209.224.113 KR
使用者代理字串
Yepi/1.0 (NHN Corp.; http://help.naver.com/robots/)
首次出現
2012-12-12 06:05:25
最後出現
2013-01-14 17:13:36
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
61.247.222.59 61.247.222.59 KR
使用者代理字串
Mozilla/5.0 (iPhone; CPU iPhone OS 5_0_1 like Mac OS X) (compatible; Yeti-Mobile/0.1; +http://help.naver.com/robots/)
首次出現
2011-12-12 05:04:16
最後出現
2012-03-06 02:10:25
遵循robots.txt
未知
來源
IP地址(5) 伺服器名稱 所屬國家
61.247.221.46 61.247.221.46 KR
61.247.221.49 61.247.221.49 KR
61.247.204.32 61.247.204.32 KR
61.247.204.33 61.247.204.33 KR
61.247.221.37 61.247.221.37 KR
使用者代理字串
Yeti-FeedItemCrawler/1.0 (NHN Corp.; http://help.naver.com/robots/)
首次出現
2012-01-11 15:30:00
最後出現
2012-01-10 21:15:47
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
119.235.237.89 crawl-119-235-237-89.naver.jp JP
使用者代理字串
Mozilla/4.0 (compatible; NaverBot/1.0; http://help.naver.com/delete_main.asp)
首次出現
2008-10-07 20:11:13
最後出現
2008-10-07 20:11:13
遵循robots.txt
未知
來源
IP地址(19) 伺服器名稱 所屬國家
61.247.221.80 61.247.221.80 KR
61.247.221.91 61.247.221.91 KR
61.247.221.81 61.247.221.81 KR
61.247.221.92 61.247.221.92 KR
61.247.221.82 61.247.221.82 KR
使用者代理字串
Mozilla/4.0 (compatible; NaverBot/1.0; http://help.naver.com/delete_main.asp)
首次出現
2008-10-07 20:11:13
最後出現
2008-10-07 20:11:13
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
202.179.180.45 202.179.180.45 KR
使用者代理字串
Yeti/1.0 (+http://help.naver.com/robots/)
首次出現
2008-10-07 05:20:20
最後出現
2008-10-07 05:20:20
遵循robots.txt
未知
來源
IP地址(11) 伺服器名稱 所屬國家
119.235.237.18 crawl-119-235-237-18.naver.jp JP
119.235.237.14 crawl-119-235-237-14.naver.jp JP
119.235.237.92 crawl-119-235-237-92.naver.jp JP
61.247.204.36 61.247.204.36 KR
61.247.204.37 61.247.204.37 KR
使用者代理字串
Yeti/1.0 (+http://help.naver.com/robots/)
首次出現
2008-10-07 05:20:20
最後出現
2008-10-07 05:20:20
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
61.247.222.49 crawl-61-247-222-49.naver.jp KR

訪問控制

瞭解如何控制NaverBot訪問許可權,避免NaverBot抓取行為不當。

是否攔截NaverBot?

一般不要攔截。搜尋引擎爬蟲為搜尋引擎提供動力,是使用者發現您網站的有效途徑。事實上,攔截搜尋引擎爬蟲可能會嚴重減少網站的自然流量。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 NaverBot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: NaverBot
Disallow: /

您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

更多資訊

1. 定義和收集網路檔案

NaverBot 從 Internet 上自動收集的各種本地和本地 Web 文件是 Naver Web 搜尋結果中公開的文件。

NAVER Web 檔案搜尋尊重在 Internet 上釋出和提供寶貴資訊的 Web 運營商和作者的意見,並致力於遵守機器人操作的國際標準。

2. NAVER 的 Web 檔案收集策略和robots.txt

1) 在NAVER上執行的搜尋機器人是Yeti。

Mozilla/5.0(compatible;Yeti...)

NAVER 搜尋機器人的標識形式與 “使用者” 相同。

2) NAVER 搜尋機器人符合 robots.txt 的國際搜尋協議。

有關詳細資訊,請參閱以下連結:robots.txt

您可以新增 ‘User-agent: Yeti’ 以對 NAVER 搜尋機器人應用限制性規則。

3) robots.txt 是將網站或文件排除在搜尋之外的標準協議,搜尋公司不會讀取安裝此檔案的網站或通過該檔案指定的頁面上的文件。

這是為了在收集搜尋文件的過程中,優先考慮網站運營商和使用者的立場,並重視符合正確網際網路發展宗旨的隱私或版權保護問題。

4) 即使文件已公開在網際網路上檢視,也並不意味著版權方或網站運營商允許以任何方式(包括搜尋機器人)進行披露、複製和使用。

特別是,由於搜尋等原因收集個人文件或資訊可能會導致版權侵權或隱私洩露。

因此,如果一方安裝 robots.txt,則表明不允許任何人進行任何自動收集操作,包括故意收集文件、複製和搜尋機械機器人。

5) 世界各地的表單搜尋服務(包括 NAVER)和收集程式都制定了這些通用的 robots.txt協議,並在安裝這些檔案時停止收集搜尋等,以保護資訊並防止網際網路功能失調。

3. NAVER 的 Web 檔案刪除政策

NAVER 尊重在網際網路上釋出資訊的運營商和作者的意見。

如果您希望在 NAVER 收集的 Web 檔案和相關搜尋結果中展示您建立或操作的 Web 檔案,或者您不希望搜尋或因操作等原因感到不適,請按照以下步驟操作: 請求排除 Web 檔案

常見蜘蛛/爬蟲

Common Spiders
Palpex crawler
Palpex crawler蜘蛛/爬蟲屬於搜尋引擎型別,由Palpex開發執行。您可以繼續閱讀下方資訊,以深入瞭解Palpex crawler基本資訊,使用者代理和訪問控制等。
lyonl
lyonl蜘蛛/爬蟲屬於搜尋引擎型別,由lyonl開發執行。您可以繼續閱讀下方資訊,以深入瞭解lyonl基本資訊,使用者代理和訪問控制等。
lyonl-crawler
lyonl-crawler蜘蛛/爬蟲屬於搜尋引擎型別,由lyonl開發執行。您可以繼續閱讀下方資訊,以深入瞭解lyonl-crawler基本資訊,使用者代理和訪問控制等。
kagi bot
kagi bot蜘蛛/爬蟲屬於搜尋引擎型別,由Kagi Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解kagi bot基本資訊,使用者代理和訪問控制等。
AVALW-SearchBot
AVALW-SearchBot蜘蛛/爬蟲屬於搜尋引擎型別,由AVALW SRL開發執行。您可以繼續閱讀下方資訊,以深入瞭解AVALW-SearchBot基本資訊,使用者代理和訪問控制等。
amazon-kendra
amazon-kendra蜘蛛/爬蟲屬於搜尋引擎型別,由Amazon.com, Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解amazon-kendra基本資訊,使用者代理和訪問控制等。
Stripebot
Stripebot蜘蛛/爬蟲屬於搜尋引擎型別,由Stripe, Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Stripebot基本資訊,使用者代理和訪問控制等。
Qwantbot
Qwantbot蜘蛛/爬蟲屬於搜尋引擎型別,由Qwant SAS開發執行。您可以繼續閱讀下方資訊,以深入瞭解Qwantbot基本資訊,使用者代理和訪問控制等。

相關文章

Related Articles