Yahoo! JAPAN

Yahoo! JAPAN蜘蛛/爬蟲屬於搜尋引擎型別,由Yahoo! JAPAN開發執行。您可以繼續閱讀下方資訊,以深入瞭解Yahoo! JAPAN基本資訊,使用者代理和訪問控制等。

基本資訊

Yahoo! JAPAN的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲,可能存在資訊不明的情況。
蜘蛛/爬蟲名稱
Yahoo! JAPAN
型別
搜尋引擎 , 營銷
開發商
Yahoo! JAPAN
當前狀態
活動

使用者代理

關於Yahoo! JAPAN蜘蛛或者爬蟲的使用者代理字串,IP地址和伺服器,所在地等資訊如下表格所示:
Y!J-WSC/1.0
使用者代理字串
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko; compatible; Y!J-WSC/1.0; +https://yahoo.jp/3BSZgF) Chrome/113.0.0.0 Safari/537.36
首次出現
2023-07-30 12:26:56
最後出現
2023-08-04 04:12:49
遵循robots.txt
未知
來源
IP地址(403) 伺服器名稱 所屬國家
182.22.30.27 crawl.182-22-30-27.yahoo-net.jp JP
182.22.30.107 crawl.182-22-30-107.yahoo-net.jp JP
182.22.30.19 crawl.182-22-30-19.yahoo-net.jp JP
182.22.30.83 crawl.182-22-30-83.yahoo-net.jp JP
182.22.30.35 crawl.182-22-30-35.yahoo-net.jp JP
使用者代理字串
Y!J-ASR/1.0 crawler (https://www.yahoo-help.jp/app/answers/detail/p/595/a_id/42716/)
首次出現
2018-07-29 00:29:52
最後出現
2019-12-11 16:02:33
遵循robots.txt
未知
來源
IP地址(4) 伺服器名稱 所屬國家
202.239.5.131 ? JP
202.239.5.115 ? JP
202.239.4.100 ? JP
202.239.4.143 ? JP
使用者代理字串
Y!J-ASR/1.0 crawler (http://www.yahoo-help.jp/app/answers/detail/p/595/a_id/42716/)
首次出現
2018-03-05 20:07:16
最後出現
2018-03-05 20:07:16
遵循robots.txt
未知
來源
IP地址(34) 伺服器名稱 所屬國家
182.22.28.117 ? JP
182.22.28.98 ? JP
182.22.28.86 ? JP
202.239.5.131 ? JP
202.239.5.115 ? JP
使用者代理字串
Y!J-ASR/1.0 crawler (http://www.yahoo-help.jp/app/answers/detail/p/595/a_id/42716/)
首次出現
2018-03-05 20:07:16
最後出現
2018-03-05 20:07:16
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
202.239.4.192 ? JP
使用者代理字串
Y!J-ASR/0.1 crawler (http://www.yahoo-help.jp/app/answers/detail/p/595/a_id/42716/)
首次出現
2015-03-13 23:00:00
最後出現
2016-01-26 18:45:04
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
183.79.216.46 183.79.216.46 JP
183.79.216.153 183.79.216.153 JP
183.79.221.129 183.79.221.129 JP
183.79.221.65 183.79.221.65 JP
183.79.219.125 183.79.219.125 JP
使用者代理字串
Y!J-BRO/YFSJ crawler (compatible; Mozilla 4.0; MSIE 5.5; http://help.yahoo.co.jp/help/jp/search/indexing/indexing-15.html; YahooFeedSeekerJp/2.0)
首次出現
2011-03-21 19:05:18
最後出現
2014-06-14 22:27:52
遵循robots.txt
未知
來源
IP地址(3) 伺服器名稱 所屬國家
114.111.95.132 proxy1001.img.kks.yahoo.co.jp AU
114.111.95.133 proxy1002.img.kks.yahoo.co.jp AU
114.111.95.254 proxy1003.img.kks.yahoo.co.jp AU
使用者代理字串
Y!J-BRW/1.0 crawler (http://help.yahoo.co.jp/help/jp/search/indexing/indexing-15.html)
首次出現
2011-10-01 08:50:49
最後出現
2013-10-07 23:05:13
遵循robots.txt
未知
來源
IP地址(44) 伺服器名稱 所屬國家
182.22.28.124 ? JP
182.22.28.118 ? JP
182.22.27.21 ? JP
182.22.27.15 ? JP
182.22.27.20 ? JP
使用者代理字串
Y!J-BRW/1.0 crawler (http://help.yahoo.co.jp/help/jp/search/indexing/indexing-15.html)
首次出現
2011-10-01 08:50:49
最後出現
2013-10-07 23:05:13
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
183.79.63.48 no044.trntl.kks.yahoo-net.jp JP
183.79.63.78 no074.trntl.kks.yahoo-net.jp JP
183.79.63.53 no049.trntl.kks.yahoo-net.jp JP
183.79.63.79 no075.trntl.kks.yahoo-net.jp JP
183.79.63.54 no050.trntl.kks.yahoo-net.jp JP
使用者代理字串
Y!J-BRI/0.0.1 crawler ( http://help.yahoo.co.jp/help/jp/search/indexing/indexing-15.html )
首次出現
2009-05-11 05:50:00
最後出現
2012-10-02 04:59:18
遵循robots.txt
未知
來源
IP地址(2) 伺服器名稱 所屬國家
124.83.179.20 m01.as.ogk.yahoo.co.jp JP
124.83.179.22 m03.as.ogk.yahoo.co.jp JP
使用者代理字串
Y!J-BRJ/YATS crawler (http://listing.yahoo.co.jp/support/faq/int/other/other_001.html)
首次出現
2012-04-20 08:17:00
最後出現
2012-06-29 03:30:00
遵循robots.txt
未知
來源
IP地址(27) 伺服器名稱 所屬國家
114.111.95.102 patu007.crawl.kks.yahoo.co.jp AU
114.111.95.113 patu018.crawl.kks.yahoo.co.jp AU
124.83.223.46 patu016.crawl.ogk.yahoo.co.jp JP
114.111.95.104 patu009.crawl.kks.yahoo.co.jp AU
114.111.95.106 patu011.crawl.kks.yahoo.co.jp AU
使用者代理字串
Y!J-BRJ/YATS crawler (http://listing.yahoo.co.jp/support/faq/int/other/other_001.html)
首次出現
2012-04-20 08:17:00
最後出現
2012-06-29 03:30:00
遵循robots.txt
未知
來源
IP地址(7) 伺服器名稱 所屬國家
114.111.95.82 uwork14.crawl.kks.yahoo.co.jp AU
114.111.95.72 uwork04.crawl.kks.yahoo.co.jp AU
124.83.223.8 uwork05.crawl.ogk.yahoo.co.jp JP
124.83.223.9 uwork06.crawl.ogk.yahoo.co.jp JP
124.83.223.6 uwork03.crawl.ogk.yahoo.co.jp JP
使用者代理字串
Y!J-BSC/1.0 (http://help.yahoo.co.jp/help/jp/blog-search/)
首次出現
2009-05-11 05:50:00
最後出現
2012-04-27 19:03:36
遵循robots.txt
未知
來源
IP地址(4) 伺服器名稱 所屬國家
183.79.92.17 crwl113.bsearch.kks.yahoo-net.jp JP
183.79.92.33 183.79.92.33 JP
183.79.92.15 crwl111.bsearch.kks.yahoo-net.jp JP
124.83.191.157 crwl113.bsearch.ogk.yahoo-net.jp JP
使用者代理字串
Y!J-BSC/1.0 (http://help.yahoo.co.jp/help/jp/blog-search/)
首次出現
2009-05-11 05:50:00
最後出現
2012-04-27 19:03:36
遵循robots.txt
未知
來源
IP地址(3) 伺服器名稱 所屬國家
124.83.191.157 crwl113.bsearch.ogk.yahoo-net.jp JP
183.79.92.15 crwl111.bsearch.kks.yahoo-net.jp JP
183.79.92.17 crwl113.bsearch.kks.yahoo-net.jp JP

訪問控制

瞭解如何控制Yahoo! JAPAN訪問許可權,避免Yahoo! JAPAN抓取行為不當。

是否攔截Yahoo! JAPAN?

一般不要攔截。搜尋引擎爬蟲為搜尋引擎提供動力,是使用者發現您網站的有效途徑。事實上,攔截搜尋引擎爬蟲可能會嚴重減少網站的自然流量。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Yahoo! JAPAN 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: Yahoo! JAPAN
Disallow: /

您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

更多資訊

Yahoo!JAPAN為提供、研究、開發和維護服務的目的,管理和執行訪問網際網路上釋出的網頁的系統。 爬行器 “就是這樣一個系統。這些系統中的每一個都有一個 “名字”,叫做 “使用者代理”。 然後他們使用這個 “名字 “來訪問每個網頁。這些系統的使用者代理可以確定訪問的目的。

關於爬蟲

巡視網頁並收集和積累內容的系統被稱為 “爬蟲”。在Yahoo!JAPAN,帶有以下使用者代理的爬蟲收集和積累網頁,用於搜尋服務、研究和開發。

  • Y!J-VSC/ViSe
  • Y!J-SRD
  • Y!J-BRI
  • Y!J-BRE
  • Y!J SearchMonkey
  • Y!J-BRT
  • Y!J-BRU/VSIDX
  • Y!J-IER
  • Y!J-BRW
  • Y!J-RIE
  • Y!J-APP
  • Y!J-BRH
  • Y!J-BRS
  • Y!J-BRD/YSML
  • Y!J-BUZZ
  • Y!J-ASR
  • Y!J-MMP/dscv
  • Y!J-ISC/ImSe

關於與廣告服務相關的爬蟲

Yahoo! JAPAN為了刊登適當的廣告,使用了以下的爬蟲。

  • Y!J-BRJ/YATS
  • Y!J-BRL/YATSS
  • Y!J-BRM/YATSD
  • Y!J-BRN/YATSA
  • Y!J-BRY/YATSH
  • Y!J-BRZ/YATSHA

有關雅虎廣告顯示廣告(YDN)爬蟲的更多資訊,請參見《雅虎廣告》中的 “關於爬蟲”。

關於網頁驗證系統

從Yahoo!JAPAN的每個頁面連結到的網頁。 為了確認,網頁是由以下使用者代理的系統訪問的。 這些系統不收集或儲存網頁。

  • Y!J-DLC
  • Y!J-BRQ/DLCK
  • Y!J-PSC
  • Y!J-DSC

注意

  • 可以使用除以上所列的IP地址和使用者代理。
  • IP地址和使用者代理可能會發生變化,恕不另行通知。

常見蜘蛛/爬蟲

Common Spiders
Palpex crawler
Palpex crawler蜘蛛/爬蟲屬於搜尋引擎型別,由Palpex開發執行。您可以繼續閱讀下方資訊,以深入瞭解Palpex crawler基本資訊,使用者代理和訪問控制等。
lyonl
lyonl蜘蛛/爬蟲屬於搜尋引擎型別,由lyonl開發執行。您可以繼續閱讀下方資訊,以深入瞭解lyonl基本資訊,使用者代理和訪問控制等。
lyonl-crawler
lyonl-crawler蜘蛛/爬蟲屬於搜尋引擎型別,由lyonl開發執行。您可以繼續閱讀下方資訊,以深入瞭解lyonl-crawler基本資訊,使用者代理和訪問控制等。
kagi bot
kagi bot蜘蛛/爬蟲屬於搜尋引擎型別,由Kagi Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解kagi bot基本資訊,使用者代理和訪問控制等。
AVALW-SearchBot
AVALW-SearchBot蜘蛛/爬蟲屬於搜尋引擎型別,由AVALW SRL開發執行。您可以繼續閱讀下方資訊,以深入瞭解AVALW-SearchBot基本資訊,使用者代理和訪問控制等。
amazon-kendra
amazon-kendra蜘蛛/爬蟲屬於搜尋引擎型別,由Amazon.com, Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解amazon-kendra基本資訊,使用者代理和訪問控制等。
Stripebot
Stripebot蜘蛛/爬蟲屬於搜尋引擎型別,由Stripe, Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Stripebot基本資訊,使用者代理和訪問控制等。
Qwantbot
Qwantbot蜘蛛/爬蟲屬於搜尋引擎型別,由Qwant SAS開發執行。您可以繼續閱讀下方資訊,以深入瞭解Qwantbot基本資訊,使用者代理和訪問控制等。

相關文章

Related Articles