如何做搜索引擎蜘蛛日志分析
搜索引擎蜘蛛日志文件是一种非常强大但未被站长充分利用的文件，分析它可以获取有关每个搜索引擎如何爬取网站内容的相关信息点，及查看搜索引擎蜘蛛在一段时间内的行为。
sogou spider
sogou spider蜘蛛/爬虫属于搜索引擎类型，由SOGOU.COM开发运行。您可以继续阅读下方信息，以深入了解sogou spider基本信息，用户代理和访问控制等。
基本信息
sogou spider的基本信息如下表。但部分不是很规范的蜘蛛和爬虫，可能存在信息不明的情况。
用户代理
关于sogou spider蜘蛛或者爬虫的用户代理字符串，IP地址和服务器，所在地等信息如下表格所示：
Sogou wap spider/4.0
- Sogou wap spider/4.0
- Sogou web spider/4.0
- Sogou web spider/4.0
- Sogou web spider/4.0
- Sogou Pic Spider/3.0
- Sogou web spider/4.0
- Sogou web spider/4.0
- Sogou News Spider/4.0
- Sogou-Test-Spider/4.0
- Sogou web spider/4.025251
- Sogou web spider/4.05252A
- Sogou web spider/4.02525A
- sogou spider
- Sogou web spider
- 用户代理字符串
- Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25(compatible; Sogou wap spider/4.0; +http://www.sogou.com/docs/help/webmasters.htm#07)
- 首次出现
- 2018-03-23 13:29:21
- 最后出现
- 2023-04-14 10:11:19
- 遵循robots.txt
- 未知
- 来源
-
IP地址(3) 服务器名称 所属国家 220.181.124.179 sogouspider-220-181-124-179.crawl.sogou.com CN 220.181.124.85 sogouspider-220-181-124-85.crawl.sogou.com CN 103.185.158.78 103.185.158.78 HK
- 用户代理字符串
- MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 4.4.2; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1 (compatible; Sogou web spider/4.0; +http://www.sogou.com/docs/help/webmasters.htm#07)
- 首次出现
- 2022-05-31 06:03:07
- 最后出现
- 2022-09-03 16:35:47
- 遵循robots.txt
- 未知
- 来源
-
IP地址(10) 服务器名称 所属国家 61.135.159.175 sogouspider-61-135-159-175.crawl.sogou.com CN 49.7.20.81 sogouspider-49-7-20-81.crawl.sogou.com CN 123.183.224.96 sogouspider-123-183-224-96.crawl.sogou.com CN 49.7.21.73 sogouspider-49-7-21-73.crawl.sogou.com ? 123.183.224.97 sogouspider-123-183-224-97.crawl.sogou.com CN
- 用户代理字符串
- Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25(compatible; Sogou web spider/4.0; +http://www.sogou.com/docs/help/webmasters.htm#07)
- 首次出现
- 2019-05-06 00:03:30
- 最后出现
- 2022-05-25 19:50:22
- 遵循robots.txt
- 未知
- 来源
-
IP地址(10) 服务器名称 所属国家 123.125.109.138 sogouspider-123-125-109-138.crawl.sogou.com CN 123.183.224.91 sogouspider-123-183-224-91.crawl.sogou.com CN 49.7.21.77 sogouspider-49-7-21-77.crawl.sogou.com ? 49.7.21.65 sogouspider-49-7-21-65.crawl.sogou.com CN 61.135.159.197 sogouspider-61-135-159-197.crawl.sogou.com CN
- 用户代理字符串
- sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
- 首次出现
- 2020-07-17 06:43:41
- 最后出现
- 2020-07-17 07:26:41
- 遵循robots.txt
- 未知
- 来源
-
IP地址(1) 服务器名称 所属国家 115.60.130.97 hn.kd.ny.adsl CN
- 用户代理字符串
- Sogou Pic Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
- 首次出现
- 2016-10-28 20:22:29
- 最后出现
- 2020-03-13 13:05:45
- 遵循robots.txt
- 未知
- 来源
-
IP地址(8) 服务器名称 所属国家 106.38.241.113 sogouspider-106-38-241-113.crawl.sogou.com CN 49.7.20.67 sogouspider-49-7-20-67.crawl.sogou.com CN 123.126.113.171 sogouspider-123-126-113-171.crawl.sogou.com CN 111.202.101.93 sogouspider-111-202-101-93.crawl.sogou.com CN 218.30.103.18 crawl.sogou.com CN
- 用户代理字符串
- Sogou web spider/4.0
- 首次出现
- 2013-01-05 11:49:25
- 最后出现
- 2019-05-02 05:51:41
- 遵循robots.txt
- 未知
- 来源
-
IP地址(1457) 服务器名称 所属国家 123.183.224.26 sogouspider-123-183-224-26.crawl.sogou.com CN 118.184.177.121 sogouspider-118-184-177-121.crawl.sogou.com CN 123.125.109.43 sogouspider-123-125-109-43.crawl.sogou.com CN 61.135.159.135 sogouspider-61-135-159-135.crawl.sogou.com CN 49.7.20.138 sogouspider-49-7-20-138.crawl.sogou.com CN
- 用户代理字符串
- Sogou web spider/4.0
- 首次出现
- 2013-01-05 11:49:25
- 最后出现
- 2019-05-02 05:51:41
- 遵循robots.txt
- 未知
- 来源
-
IP地址(10) 服务器名称 所属国家 36.110.147.70 sogouspider-36-110-147-70.crawl.sogou.com CN 123.126.113.99 sogouspider-123-126-113-99.crawl.sogou.com CN 218.30.103.41 ? CN 218.30.103.147 218.30.103.147 CN 220.181.89.146 220.181.89.146 CN
- 用户代理字符串
- Sogou News Spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
- 首次出现
- 2016-08-11 01:07:17
- 最后出现
- 2016-08-11 01:07:17
- 遵循robots.txt
- 未知
- 来源
-
IP地址(1) 服务器名称 所属国家 61.135.189.118 sogouspider-61-135-189-118.crawl.sogou.com CN
- 用户代理字符串
- Sogou-Test-Spider/4.0 (compatible; MSIE 5.5; Windows 98)
- 首次出现
- 2009-09-17 11:12:53
- 最后出现
- 2015-08-07 14:49:46
- 遵循robots.txt
- 未知
- 来源
-
IP地址(2) 服务器名称 所属国家 123.125.125.126 123.125.125.126 CN 220.181.61.166 220.181.61.166 CN
- 用户代理字符串
- Sogou web spider/4.025251
- 首次出现
- 2013-09-04 10:54:41
- 最后出现
- 2013-09-04 10:54:42
- 遵循robots.txt
- 未知
- 来源
-
IP地址(1) 服务器名称 所属国家 220.181.89.168 220.181.89.168 CN
- 用户代理字符串
- Sogou web spider/4.05252A
- 首次出现
- 2013-09-04 08:49:10
- 最后出现
- 2013-09-04 08:49:10
- 遵循robots.txt
- 未知
- 来源
-
IP地址(1) 服务器名称 所属国家 218.30.103.31 218.30.103.31 CN
- 用户代理字符串
- Sogou web spider/4.02525A
- 首次出现
- 2013-04-14 01:04:27
- 最后出现
- 2013-04-14 01:04:27
- 遵循robots.txt
- 未知
- 来源
-
IP地址(1) 服务器名称 所属国家 218.30.103.147 ? CN
- 用户代理字符串
- sogou spider
- 首次出现
- 2009-05-11 05:50:00
- 最后出现
- 2012-12-30 20:55:50
- 遵循robots.txt
- 未知
- 来源
-
IP地址(1) 服务器名称 所属国家 119.180.24.194 ? CN
- 用户代理字符串
- Sogou Web Spider
- 首次出现
- 2012-08-08 10:06:45
- 最后出现
- 2012-08-16 23:44:58
- 遵循robots.txt
- 未知
- 来源
-
IP地址(1) 服务器名称 所属国家 220.181.124.10 220.181.124.10 CN
访问控制
了解如何控制sogou spider访问权限，避免sogou spider抓取行为不当。
是否拦截sogou spider？
一般不要拦截。搜索引擎爬虫为搜索引擎提供动力，是用户发现您网站的有效途径。事实上，拦截搜索引擎爬虫可能会严重减少网站的自然流量。
通过Robots.txt拦截
您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 sogou spider 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。
# robots.txt # 下列代码一般情况可以拦截该代理 User-agent: sogou spider Disallow: /
您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。
更多信息
sogou spider是搜狗搜索引擎的一个自动程序。它的作用是访问互联网上的网页，存储到本地数据库中，并从中发现新的链接，走访互联网，使用户能在搜狗搜索引擎中搜索到您网站的网页。
sogou spider 访问我的网站过快怎么办？
sogou spider 对于同一个 IP 地址的服务器主机，只建立一个连接，抓取间隔速度控制在几秒一次。一个网页被收录后，最快也要过几天以后才会去更新。
如果持续不断地抓取您的网站，请注意您的网站上的网页是否每次访问都产生新的链接。
如果您认为 sogou spider 对于您的网站抓取过快，请与搜狗联系，最好能提供访问日志中 sogou spider 访问的部分。点此投诉spider抓取过快
sogou spider 喜欢收录什么样的页面？
- 内容优良而独特的页面，如果您的页面内容和互联网上已存在的其他页面有高度的相似性，可能不会被 sogou spider 收录。
- 链接层次较浅的页面，过深的链接层次，尤其是动态网页的链接，会被丢弃而不收录。
- 如果是动态网页，请控制一下参数的数量和URL的长度。搜狗更偏好收录静态网页。
- 重定向次数越多的页面，越有可能被 sogou spider 丢弃。
sogou spider 如何反应我网站上页面的更新?
sogou spider 根据网页的重要性和历史变化情况来动态调整更新时间，更新已经抓取过的页面。
如何 sogou spider 不抓我的网站？
sogou spider 支持 robots 协议，您可以在网站的根目录放置 robots.txt。
robots.txt 的规则请参阅 http://www.robotstxt.org/。但是新更新的 robots.txt 可能得过几个星期才能体现出效果来。
需要注意的是，被您禁止 sogou spider 收录的网页将不能在搜狗搜索引擎上检索到。
sogou spider 会封锁那些网站？
A. 作弊网站
B. 内容低劣的网站
C. 违反国家政策和法律的网站。
如何让 sogou spider 解除对我网站的封锁？
在您的网站的问题改正之后，点此提交申请解封。
站长工具
我们为站长量身定做的高效工具集。
常见蜘蛛/爬虫
Common Spiders相关文章
Related Articles 
什么是抓取预算（Crawl Budget）及如何最大化其利用价值
抓取预算（Crawl Budget），您又可以将之称为抓取频率、抓取量。这个量一般是由搜索引擎蜘蛛根据网站的质量度和权重给域名分配的。理解抓取预算的定义，重要性及最大化其效率，这有利于网站的索引、排名。
怎样才算有利于SEO的网站结构
众所周知，扁平且层级不超过三级的网站结构是最有利于搜索引擎蜘蛛爬取的。显浅的一句看似易懂但如深入，又未必是那么容易理解。下面我们将深入了解网站结构的定义，重要性及实践，以便于各位技术开发、站长和SEOer在未来的网站开发及运营中应用。
为什么要控制Googlebot抓取速度？
在本文中，我们将了解您为什么要控制Googlebot以及如何控制Googlebot和其他搜索引擎爬虫的抓取速度。
如何拦截Google和Bing访问您的网站？
在本文中，我们将解释如何屏蔽Googlebot和Bingbot，屏蔽爬虫后会发生什么以及出现爬取问题的常见原因。
Bing网站管理员工具Bingbot网站爬取频率设置
Bing网站管理员工具中的爬网空间功能允许网站管理员控制Bingbot抓取您的网站的速率。当您的网站上有访问者以适当地管理带宽时，需要进行爬网控制以限制Bingbot和Googlebot等搜索引擎蜘蛛的活动。
WordPress拦截IP地址的6种方法
当网站规模扩大时，您需要采取某些措施来限制来自评论垃圾邮件发送者、无效机器人和人类攻击者的流量。这对于保护您的服务器资源可用于真实用户以及您支付托管费用以获得真实访问者至关重要。在本文中，我们将解释在WordPress中拦截IP地址的6种方法。
如何禁止搜索引擎索引WordPress网站
您可能想要隐藏站点上的内容的原因有很多，但依靠“建议搜索引擎不索引本站点”选项并不是确保此类内容不被看到的最佳方法。除非您想在网络上隐藏您的整个网站，否则永远不要单击此选项，因为如果不小心切换，它会对您的SEO造成巨大损害。