sogou spider

sogou spider蜘蛛/爬蟲屬於搜尋引擎型別,由SOGOU.COM開發執行。您可以繼續閱讀下方資訊,以深入瞭解sogou spider基本資訊,使用者代理和訪問控制等。

基本資訊

sogou spider的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲,可能存在資訊不明的情況。
蜘蛛/爬蟲名稱
sogou spider
型別
搜尋引擎 , 資訊流
開發商
SOGOU.COM
當前狀態
活動

使用者代理

關於sogou spider蜘蛛或者爬蟲的使用者代理字串,IP地址和伺服器,所在地等資訊如下表格所示:
Sogou wap spider/4.0
使用者代理字串
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25(compatible; Sogou wap spider/4.0; +http://www.sogou.com/docs/help/webmasters.htm#07)
首次出現
2018-03-23 13:29:21
最後出現
2023-04-14 10:11:19
遵循robots.txt
未知
來源
IP地址(3) 伺服器名稱 所屬國家
220.181.124.179 sogouspider-220-181-124-179.crawl.sogou.com CN
220.181.124.85 sogouspider-220-181-124-85.crawl.sogou.com CN
103.185.158.78 103.185.158.78 HK
使用者代理字串
MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 4.4.2; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1 (compatible; Sogou web spider/4.0; +http://www.sogou.com/docs/help/webmasters.htm#07)
首次出現
2022-05-31 06:03:07
最後出現
2022-09-03 16:35:47
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
61.135.159.175 sogouspider-61-135-159-175.crawl.sogou.com CN
49.7.20.81 sogouspider-49-7-20-81.crawl.sogou.com CN
123.183.224.96 sogouspider-123-183-224-96.crawl.sogou.com CN
49.7.21.73 sogouspider-49-7-21-73.crawl.sogou.com ?
123.183.224.97 sogouspider-123-183-224-97.crawl.sogou.com CN
使用者代理字串
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25(compatible; Sogou web spider/4.0; +http://www.sogou.com/docs/help/webmasters.htm#07)
首次出現
2019-05-06 00:03:30
最後出現
2022-05-25 19:50:22
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
123.125.109.138 sogouspider-123-125-109-138.crawl.sogou.com CN
123.183.224.91 sogouspider-123-183-224-91.crawl.sogou.com CN
49.7.21.77 sogouspider-49-7-21-77.crawl.sogou.com ?
49.7.21.65 sogouspider-49-7-21-65.crawl.sogou.com CN
61.135.159.197 sogouspider-61-135-159-197.crawl.sogou.com CN
使用者代理字串
sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
首次出現
2020-07-17 06:43:41
最後出現
2020-07-17 07:26:41
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
115.60.130.97 hn.kd.ny.adsl CN
使用者代理字串
Sogou Pic Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
首次出現
2016-10-28 20:22:29
最後出現
2020-03-13 13:05:45
遵循robots.txt
未知
來源
IP地址(8) 伺服器名稱 所屬國家
106.38.241.113 sogouspider-106-38-241-113.crawl.sogou.com CN
49.7.20.67 sogouspider-49-7-20-67.crawl.sogou.com CN
123.126.113.171 sogouspider-123-126-113-171.crawl.sogou.com CN
111.202.101.93 sogouspider-111-202-101-93.crawl.sogou.com CN
218.30.103.18 crawl.sogou.com CN
使用者代理字串
Sogou web spider/4.0
首次出現
2013-01-05 11:49:25
最後出現
2019-05-02 05:51:41
遵循robots.txt
未知
來源
IP地址(1457) 伺服器名稱 所屬國家
123.183.224.26 sogouspider-123-183-224-26.crawl.sogou.com CN
118.184.177.121 sogouspider-118-184-177-121.crawl.sogou.com CN
123.125.109.43 sogouspider-123-125-109-43.crawl.sogou.com CN
61.135.159.135 sogouspider-61-135-159-135.crawl.sogou.com CN
49.7.20.138 sogouspider-49-7-20-138.crawl.sogou.com CN
使用者代理字串
Sogou web spider/4.0
首次出現
2013-01-05 11:49:25
最後出現
2019-05-02 05:51:41
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
36.110.147.70 sogouspider-36-110-147-70.crawl.sogou.com CN
123.126.113.99 sogouspider-123-126-113-99.crawl.sogou.com CN
218.30.103.41 ? CN
218.30.103.147 218.30.103.147 CN
220.181.89.146 220.181.89.146 CN
使用者代理字串
Sogou News Spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
首次出現
2016-08-11 01:07:17
最後出現
2016-08-11 01:07:17
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
61.135.189.118 sogouspider-61-135-189-118.crawl.sogou.com CN
使用者代理字串
Sogou-Test-Spider/4.0 (compatible; MSIE 5.5; Windows 98)
首次出現
2009-09-17 11:12:53
最後出現
2015-08-07 14:49:46
遵循robots.txt
未知
來源
IP地址(2) 伺服器名稱 所屬國家
123.125.125.126 123.125.125.126 CN
220.181.61.166 220.181.61.166 CN
使用者代理字串
Sogou web spider/4.025251
首次出現
2013-09-04 10:54:41
最後出現
2013-09-04 10:54:42
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
220.181.89.168 220.181.89.168 CN
使用者代理字串
Sogou web spider/4.05252A
首次出現
2013-09-04 08:49:10
最後出現
2013-09-04 08:49:10
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
218.30.103.31 218.30.103.31 CN
使用者代理字串
Sogou web spider/4.02525A
首次出現
2013-04-14 01:04:27
最後出現
2013-04-14 01:04:27
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
218.30.103.147 ? CN
使用者代理字串
sogou spider
首次出現
2009-05-11 05:50:00
最後出現
2012-12-30 20:55:50
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
119.180.24.194 ? CN
使用者代理字串
Sogou Web Spider
首次出現
2012-08-08 10:06:45
最後出現
2012-08-16 23:44:58
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
220.181.124.10 220.181.124.10 CN

訪問控制

瞭解如何控制sogou spider訪問許可權,避免sogou spider抓取行為不當。

是否攔截sogou spider?

一般不要攔截。搜尋引擎爬蟲為搜尋引擎提供動力,是使用者發現您網站的有效途徑。事實上,攔截搜尋引擎爬蟲可能會嚴重減少網站的自然流量。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 sogou spider 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: sogou spider
Disallow: /

您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

更多資訊

sogou spider是搜狗搜尋引擎的一個自動程式。它的作用是訪問網際網路上的網頁,儲存到本地資料庫中,並從中發現新的連結,走訪網際網路,使使用者能在搜狗搜尋引擎中搜尋到您網站的網頁。

sogou spider 訪問我的網站過快怎麼辦?

sogou spider 對於同一個 IP 地址的伺服器主機,只建立一個連線,抓取間隔速度控制在幾秒一次。一個網頁被收錄後,最快也要過幾天以後才會去更新。

如果持續不斷地抓取您的網站,請注意您的網站上的網頁是否每次訪問都產生新的連結。

如果您認為 sogou spider 對於您的網站抓取過快,請與搜狗聯絡,最好能提供訪問日誌中 sogou spider 訪問的部分。點此投訴spider抓取過快

sogou spider 喜歡收錄什麼樣的頁面?

  1. 內容優良而獨特的頁面,如果您的頁面內容和網際網路上已存在的其他頁面有高度的相似性,可能不會被 sogou spider 收錄。
  2. 連結層次較淺的頁面,過深的連結層次,尤其是動態網頁的連結,會被丟棄而不收錄。
  3. 如果是動態網頁,請控制一下引數的數量和URL的長度。搜狗更偏好收錄靜態網頁。
  4. 重定向次數越多的頁面,越有可能被 sogou spider 丟棄。

sogou spider 如何反應我網站上頁面的更新?

sogou spider 根據網頁的重要性和歷史變化情況來動態調整更新時間,更新已經抓取過的頁面。

如何 sogou spider 不抓我的網站?

sogou spider 支援 robots 協議,您可以在網站的根目錄放置 robots.txt。

robots.txt 的規則請參閱 http://www.robotstxt.org/。但是新更新的 robots.txt 可能得過幾個星期才能體現出效果來。

需要注意的是,被您禁止 sogou spider 收錄的網頁將不能在搜狗搜尋引擎上檢索到。

sogou spider 會封鎖那些網站?

A. 作弊網站

B. 內容低劣的網站

C. 違反國家政策和法律的網站。

如何讓 sogou spider 解除對我網站的封鎖?

在您的網站的問題改正之後,點此提交申請解封

常見蜘蛛/爬蟲

Common Spiders
Palpex crawler
Palpex crawler蜘蛛/爬蟲屬於搜尋引擎型別,由Palpex開發執行。您可以繼續閱讀下方資訊,以深入瞭解Palpex crawler基本資訊,使用者代理和訪問控制等。
lyonl
lyonl蜘蛛/爬蟲屬於搜尋引擎型別,由lyonl開發執行。您可以繼續閱讀下方資訊,以深入瞭解lyonl基本資訊,使用者代理和訪問控制等。
lyonl-crawler
lyonl-crawler蜘蛛/爬蟲屬於搜尋引擎型別,由lyonl開發執行。您可以繼續閱讀下方資訊,以深入瞭解lyonl-crawler基本資訊,使用者代理和訪問控制等。
kagi bot
kagi bot蜘蛛/爬蟲屬於搜尋引擎型別,由Kagi Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解kagi bot基本資訊,使用者代理和訪問控制等。
AVALW-SearchBot
AVALW-SearchBot蜘蛛/爬蟲屬於搜尋引擎型別,由AVALW SRL開發執行。您可以繼續閱讀下方資訊,以深入瞭解AVALW-SearchBot基本資訊,使用者代理和訪問控制等。
amazon-kendra
amazon-kendra蜘蛛/爬蟲屬於搜尋引擎型別,由Amazon.com, Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解amazon-kendra基本資訊,使用者代理和訪問控制等。
Stripebot
Stripebot蜘蛛/爬蟲屬於搜尋引擎型別,由Stripe, Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Stripebot基本資訊,使用者代理和訪問控制等。
Qwantbot
Qwantbot蜘蛛/爬蟲屬於搜尋引擎型別,由Qwant SAS開發執行。您可以繼續閱讀下方資訊,以深入瞭解Qwantbot基本資訊,使用者代理和訪問控制等。

相關文章

Related Articles