Yahoo! JAPAN

Yahoo! JAPAN蜘蛛/爬虫属于搜索引擎类型,由Yahoo! JAPAN开发运行。您可以继续阅读下方信息,以深入了解Yahoo! JAPAN基本信息,用户代理和访问控制等。

基本信息

Yahoo! JAPAN的基本信息如下表。但部分不是很规范的蜘蛛和爬虫,可能存在信息不明的情况。
蜘蛛/爬虫名称
Yahoo! JAPAN
类型
搜索引擎 , 营销
开发商
Yahoo! JAPAN
当前状态
活动

用户代理

关于Yahoo! JAPAN蜘蛛或者爬虫的用户代理字符串,IP地址和服务器,所在地等信息如下表格所示:
Y!J-WSC/1.0
用户代理字符串
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko; compatible; Y!J-WSC/1.0; +https://yahoo.jp/3BSZgF) Chrome/113.0.0.0 Safari/537.36
首次出现
2023-07-30 12:26:56
最后出现
2023-08-04 04:12:49
遵循robots.txt
未知
来源
IP地址(403) 服务器名称 所属国家
182.22.30.27 crawl.182-22-30-27.yahoo-net.jp JP
182.22.30.107 crawl.182-22-30-107.yahoo-net.jp JP
182.22.30.19 crawl.182-22-30-19.yahoo-net.jp JP
182.22.30.83 crawl.182-22-30-83.yahoo-net.jp JP
182.22.30.35 crawl.182-22-30-35.yahoo-net.jp JP
用户代理字符串
Y!J-ASR/1.0 crawler (https://www.yahoo-help.jp/app/answers/detail/p/595/a_id/42716/)
首次出现
2018-07-29 00:29:52
最后出现
2019-12-11 16:02:33
遵循robots.txt
未知
来源
IP地址(4) 服务器名称 所属国家
202.239.5.131 ? JP
202.239.5.115 ? JP
202.239.4.100 ? JP
202.239.4.143 ? JP
用户代理字符串
Y!J-ASR/1.0 crawler (http://www.yahoo-help.jp/app/answers/detail/p/595/a_id/42716/)
首次出现
2018-03-05 20:07:16
最后出现
2018-03-05 20:07:16
遵循robots.txt
未知
来源
IP地址(34) 服务器名称 所属国家
182.22.28.117 ? JP
182.22.28.98 ? JP
182.22.28.86 ? JP
202.239.5.131 ? JP
202.239.5.115 ? JP
用户代理字符串
Y!J-ASR/1.0 crawler (http://www.yahoo-help.jp/app/answers/detail/p/595/a_id/42716/)
首次出现
2018-03-05 20:07:16
最后出现
2018-03-05 20:07:16
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
202.239.4.192 ? JP
用户代理字符串
Y!J-ASR/0.1 crawler (http://www.yahoo-help.jp/app/answers/detail/p/595/a_id/42716/)
首次出现
2015-03-13 23:00:00
最后出现
2016-01-26 18:45:04
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
183.79.216.46 183.79.216.46 JP
183.79.216.153 183.79.216.153 JP
183.79.221.129 183.79.221.129 JP
183.79.221.65 183.79.221.65 JP
183.79.219.125 183.79.219.125 JP
用户代理字符串
Y!J-BRO/YFSJ crawler (compatible; Mozilla 4.0; MSIE 5.5; http://help.yahoo.co.jp/help/jp/search/indexing/indexing-15.html; YahooFeedSeekerJp/2.0)
首次出现
2011-03-21 19:05:18
最后出现
2014-06-14 22:27:52
遵循robots.txt
未知
来源
IP地址(3) 服务器名称 所属国家
114.111.95.132 proxy1001.img.kks.yahoo.co.jp AU
114.111.95.133 proxy1002.img.kks.yahoo.co.jp AU
114.111.95.254 proxy1003.img.kks.yahoo.co.jp AU
用户代理字符串
Y!J-BRW/1.0 crawler (http://help.yahoo.co.jp/help/jp/search/indexing/indexing-15.html)
首次出现
2011-10-01 08:50:49
最后出现
2013-10-07 23:05:13
遵循robots.txt
未知
来源
IP地址(44) 服务器名称 所属国家
182.22.28.124 ? JP
182.22.28.118 ? JP
182.22.27.21 ? JP
182.22.27.15 ? JP
182.22.27.20 ? JP
用户代理字符串
Y!J-BRW/1.0 crawler (http://help.yahoo.co.jp/help/jp/search/indexing/indexing-15.html)
首次出现
2011-10-01 08:50:49
最后出现
2013-10-07 23:05:13
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
183.79.63.48 no044.trntl.kks.yahoo-net.jp JP
183.79.63.78 no074.trntl.kks.yahoo-net.jp JP
183.79.63.53 no049.trntl.kks.yahoo-net.jp JP
183.79.63.79 no075.trntl.kks.yahoo-net.jp JP
183.79.63.54 no050.trntl.kks.yahoo-net.jp JP
用户代理字符串
Y!J-BRI/0.0.1 crawler ( http://help.yahoo.co.jp/help/jp/search/indexing/indexing-15.html )
首次出现
2009-05-11 05:50:00
最后出现
2012-10-02 04:59:18
遵循robots.txt
未知
来源
IP地址(2) 服务器名称 所属国家
124.83.179.20 m01.as.ogk.yahoo.co.jp JP
124.83.179.22 m03.as.ogk.yahoo.co.jp JP
用户代理字符串
Y!J-BRJ/YATS crawler (http://listing.yahoo.co.jp/support/faq/int/other/other_001.html)
首次出现
2012-04-20 08:17:00
最后出现
2012-06-29 03:30:00
遵循robots.txt
未知
来源
IP地址(27) 服务器名称 所属国家
114.111.95.102 patu007.crawl.kks.yahoo.co.jp AU
114.111.95.113 patu018.crawl.kks.yahoo.co.jp AU
124.83.223.46 patu016.crawl.ogk.yahoo.co.jp JP
114.111.95.104 patu009.crawl.kks.yahoo.co.jp AU
114.111.95.106 patu011.crawl.kks.yahoo.co.jp AU
用户代理字符串
Y!J-BRJ/YATS crawler (http://listing.yahoo.co.jp/support/faq/int/other/other_001.html)
首次出现
2012-04-20 08:17:00
最后出现
2012-06-29 03:30:00
遵循robots.txt
未知
来源
IP地址(7) 服务器名称 所属国家
114.111.95.82 uwork14.crawl.kks.yahoo.co.jp AU
114.111.95.72 uwork04.crawl.kks.yahoo.co.jp AU
124.83.223.8 uwork05.crawl.ogk.yahoo.co.jp JP
124.83.223.9 uwork06.crawl.ogk.yahoo.co.jp JP
124.83.223.6 uwork03.crawl.ogk.yahoo.co.jp JP
用户代理字符串
Y!J-BSC/1.0 (http://help.yahoo.co.jp/help/jp/blog-search/)
首次出现
2009-05-11 05:50:00
最后出现
2012-04-27 19:03:36
遵循robots.txt
未知
来源
IP地址(4) 服务器名称 所属国家
183.79.92.17 crwl113.bsearch.kks.yahoo-net.jp JP
183.79.92.33 183.79.92.33 JP
183.79.92.15 crwl111.bsearch.kks.yahoo-net.jp JP
124.83.191.157 crwl113.bsearch.ogk.yahoo-net.jp JP
用户代理字符串
Y!J-BSC/1.0 (http://help.yahoo.co.jp/help/jp/blog-search/)
首次出现
2009-05-11 05:50:00
最后出现
2012-04-27 19:03:36
遵循robots.txt
未知
来源
IP地址(3) 服务器名称 所属国家
124.83.191.157 crwl113.bsearch.ogk.yahoo-net.jp JP
183.79.92.15 crwl111.bsearch.kks.yahoo-net.jp JP
183.79.92.17 crwl113.bsearch.kks.yahoo-net.jp JP

访问控制

了解如何控制Yahoo! JAPAN访问权限,避免Yahoo! JAPAN抓取行为不当。

是否拦截Yahoo! JAPAN?

一般不要拦截。搜索引擎爬虫为搜索引擎提供动力,是用户发现您网站的有效途径。事实上,拦截搜索引擎爬虫可能会严重减少网站的自然流量。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 Yahoo! JAPAN 或限制其访问权限。我们建议安装 Spider Analyser 插件,以检查它是否真正遵循这些规则。

# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: Yahoo! JAPAN
Disallow: /

您无需手动执行此操作,可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

更多信息

Yahoo!JAPAN为提供、研究、开发和维护服务的目的,管理和运行访问互联网上发布的网页的系统。 爬行器 “就是这样一个系统。这些系统中的每一个都有一个 “名字”,叫做 “用户代理”。 然后他们使用这个 “名字 “来访问每个网页。这些系统的用户代理可以确定访问的目的。

关于爬虫

巡视网页并收集和积累内容的系统被称为 “爬虫”。在Yahoo!JAPAN,带有以下用户代理的爬虫收集和积累网页,用于搜索服务、研究和开发。

  • Y!J-VSC/ViSe
  • Y!J-SRD
  • Y!J-BRI
  • Y!J-BRE
  • Y!J SearchMonkey
  • Y!J-BRT
  • Y!J-BRU/VSIDX
  • Y!J-IER
  • Y!J-BRW
  • Y!J-RIE
  • Y!J-APP
  • Y!J-BRH
  • Y!J-BRS
  • Y!J-BRD/YSML
  • Y!J-BUZZ
  • Y!J-ASR
  • Y!J-MMP/dscv
  • Y!J-ISC/ImSe

关于与广告服务相关的爬虫

Yahoo! JAPAN为了刊登适当的广告,使用了以下的爬虫。

  • Y!J-BRJ/YATS
  • Y!J-BRL/YATSS
  • Y!J-BRM/YATSD
  • Y!J-BRN/YATSA
  • Y!J-BRY/YATSH
  • Y!J-BRZ/YATSHA

有关雅虎广告显示广告(YDN)爬虫的更多信息,请参见《雅虎广告》中的 “关于爬虫”。

关于网页验证系统

从Yahoo!JAPAN的每个页面链接到的网页。 为了确认,网页是由以下用户代理的系统访问的。 这些系统不收集或储存网页。

  • Y!J-DLC
  • Y!J-BRQ/DLCK
  • Y!J-PSC
  • Y!J-DSC

注意

  • 可以使用除以上所列的IP地址和用户代理。
  • IP地址和用户代理可能会发生变化,恕不另行通知。

常见蜘蛛/爬虫

Common Spiders

相关文章

Related Articles