CliqzBot

CliqzBot蜘蛛/爬蟲屬於搜尋引擎型別，由Cliqz GmbH開發執行。您可以繼續閱讀下方資訊，以深入瞭解CliqzBot基本資訊，使用者代理和訪問控制等。

基本資訊

CliqzBot的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲，可能存在資訊不明的情況。

蜘蛛/爬蟲名稱: CliqzBot

型別: 搜尋引擎

開發商: Cliqz GmbH

當前狀態: 無效

使用者代理

關於CliqzBot蜘蛛或者爬蟲的使用者代理字串，IP地址和伺服器，所在地等資訊如下表格所示：

使用者代理字串: Mozilla/5.0 (compatible; Cliqzbot/3.0; +http://cliqz.com/company/cliqzbot)

首次出現: 2019-09-26 04:58:22

最後出現: 2020-07-19 17:46:39

遵循robots.txt: 未知

來源

IP地址(797)	伺服器名稱	所屬國家
94.130.151.221	?	DE
49.12.103.216	?	DE
94.130.57.70	?	DE
18.197.67.59	ec2-18-197-67-59.eu-central-1.compute.amazonaws.com	DE
18.195.161.90	ec2-18-195-161-90.eu-central-1.compute.amazonaws.com	DE
3.127.152.202	ec2-3-127-152-202.eu-central-1.compute.amazonaws.com	DE
54.93.85.16	ec2-54-93-85-16.eu-central-1.compute.amazonaws.com	DE
18.194.176.241	ec2-18-194-176-241.eu-central-1.compute.amazonaws.com	DE
18.197.171.221	ec2-18-197-171-221.eu-central-1.compute.amazonaws.com	DE
54.93.100.241	ec2-54-93-100-241.eu-central-1.compute.amazonaws.com	DE

使用者代理字串: Mozilla/5.0 (compatible; Cliqzbot/2.0; http://cliqz.com/company/cliqzbot)

首次出現: 2018-12-25 16:16:17

最後出現: 2019-05-30 23:04:51

遵循robots.txt: 未知

來源

IP地址(1)	伺服器名稱	所屬國家
18.130.143.40	ec2-18-130-143-40.eu-west-2.compute.amazonaws.com	GB
18.184.188.1	ec2-18-184-188-1.eu-central-1.compute.amazonaws.com	DE
54.144.108.245	ec2-54-144-108-245.compute-1.amazonaws.com	US
3.121.215.220	ec2-3-121-215-220.eu-central-1.compute.amazonaws.com	DE
35.180.253.138	ec2-35-180-253-138.eu-west-3.compute.amazonaws.com	FR
35.159.53.93	ec2-35-159-53-93.eu-central-1.compute.amazonaws.com	DE
3.93.68.174	ec2-3-93-68-174.compute-1.amazonaws.com	US
3.89.222.179	ec2-3-89-222-179.compute-1.amazonaws.com	US
107.23.61.67	ec2-107-23-61-67.compute-1.amazonaws.com	US
3.120.244.183	ec2-3-120-244-183.eu-central-1.compute.amazonaws.com	DE
35.156.208.200	ec2-35-156-208-200.eu-central-1.compute.amazonaws.com	DE

使用者代理字串: Mozilla/5.0 (compatible; Cliqzbot/2.0; http://cliqz.com/company/cliqzbot)

首次出現: 2018-12-25 16:16:17

最後出現: 2019-05-30 23:04:51

遵循robots.txt: 未知

來源

IP地址(1)	伺服器名稱	所屬國家
35.156.208.200	ec2-35-156-208-200.eu-central-1.compute.amazonaws.com	DE

使用者代理字串: Mozilla/5.0 (compatible; Cliqzbot/1.0 +http://cliqz.com/company/cliqzbot)

首次出現: 2015-07-07 09:25:00

最後出現: 2017-02-22 12:20:15

遵循robots.txt: 未知

來源

IP地址(3919)	伺服器名稱	所屬國家
35.158.179.246	ec2-35-158-179-246.eu-central-1.compute.amazonaws.com	DE
35.158.194.233	ec2-35-158-194-233.eu-central-1.compute.amazonaws.com	DE
35.158.213.153	ec2-35-158-213-153.eu-central-1.compute.amazonaws.com	DE
54.209.101.13	ec2-54-209-101-13.compute-1.amazonaws.com	US
54.165.3.186	ec2-54-165-3-186.compute-1.amazonaws.com	US
35.158.206.147	ec2-35-158-206-147.eu-central-1.compute.amazonaws.com	DE
35.158.198.33	ec2-35-158-198-33.eu-central-1.compute.amazonaws.com	DE
35.158.182.159	ec2-35-158-182-159.eu-central-1.compute.amazonaws.com	DE
35.158.154.41	ec2-35-158-154-41.eu-central-1.compute.amazonaws.com	DE
52.57.191.77	ec2-52-57-191-77.eu-central-1.compute.amazonaws.com	DE
52.29.204.38	ec2-52-29-204-38.eu-central-1.compute.amazonaws.com	DE
35.157.58.197	ec2-35-157-58-197.eu-central-1.compute.amazonaws.com	US
35.157.166.193	ec2-35-157-166-193.eu-central-1.compute.amazonaws.com	US
35.157.49.113	ec2-35-157-49-113.eu-central-1.compute.amazonaws.com	DE
35.156.174.230	ec2-35-156-174-230.eu-central-1.compute.amazonaws.com	US
35.157.178.43	ec2-35-157-178-43.eu-central-1.compute.amazonaws.com	US
35.157.178.194	ec2-35-157-178-194.eu-central-1.compute.amazonaws.com	US
35.157.6.195	ec2-35-157-6-195.eu-central-1.compute.amazonaws.com	US
35.157.178.221	ec2-35-157-178-221.eu-central-1.compute.amazonaws.com	DE
35.157.178.16	ec2-35-157-178-16.eu-central-1.compute.amazonaws.com	DE

使用者代理字串: Mozilla/5.0 (compatible; Cliqzbot/1.0 +http://cliqz.com/company/cliqzbot)

首次出現: 2015-07-07 09:25:00

最後出現: 2017-02-22 12:20:15

遵循robots.txt: 未知

來源

IP地址(3919)	伺服器名稱	所屬國家
52.29.204.38	ec2-52-29-204-38.eu-central-1.compute.amazonaws.com	DE
35.157.58.197	ec2-35-157-58-197.eu-central-1.compute.amazonaws.com	US
35.157.166.193	ec2-35-157-166-193.eu-central-1.compute.amazonaws.com	US
35.157.49.113	ec2-35-157-49-113.eu-central-1.compute.amazonaws.com	DE
35.156.174.230	ec2-35-156-174-230.eu-central-1.compute.amazonaws.com	US
35.157.178.43	ec2-35-157-178-43.eu-central-1.compute.amazonaws.com	US
35.157.178.194	ec2-35-157-178-194.eu-central-1.compute.amazonaws.com	US
35.157.6.195	ec2-35-157-6-195.eu-central-1.compute.amazonaws.com	US
35.157.178.221	ec2-35-157-178-221.eu-central-1.compute.amazonaws.com	DE
35.157.178.16	ec2-35-157-178-16.eu-central-1.compute.amazonaws.com	DE

使用者代理字串: Cliqzbot/0.1 (+http://cliqz.com/company/cliqzbot)

首次出現: 2013-11-11 13:50:00

最後出現: 2014-08-05 05:45:25

遵循robots.txt: 未知

來源

IP地址(41)	伺服器名稱	所屬國家
85.214.34.142	h2216768.stratoserver.net	DE
81.169.224.239	h2190702.stratoserver.net	DE
85.214.35.52	h2216777.stratoserver.net	DE
81.169.240.61	h2244465.stratoserver.net	DE
85.214.34.172	h2216762.stratoserver.net	DE
81.169.236.194	h2247565.stratoserver.net	DE
85.214.36.9	h2216731.stratoserver.net	DE
81.169.245.209	h2237920.stratoserver.net	DE
85.214.34.220	h2216774.stratoserver.net	DE
81.169.236.221	h2247568.stratoserver.net	DE

使用者代理字串: Cliqzbot

首次出現: 2014-01-24 15:27:22

最後出現: 2014-02-13 14:28:58

遵循robots.txt: 未知

來源

IP地址(44)	伺服器名稱	所屬國家
54.198.216.1	ec2-54-198-216-1.compute-1.amazonaws.com	US
54.242.169.166	ec2-54-242-169-166.compute-1.amazonaws.com	US
54.224.144.19	ec2-54-224-144-19.compute-1.amazonaws.com	US
54.196.114.96	ec2-54-196-114-96.compute-1.amazonaws.com	US
54.204.230.93	ec2-54-204-230-93.compute-1.amazonaws.com	US
23.20.92.1	ec2-23-20-92-1.compute-1.amazonaws.com	US
54.80.132.70	ec2-54-80-132-70.compute-1.amazonaws.com	US
50.17.63.21	ec2-50-17-63-21.compute-1.amazonaws.com	US
54.227.210.107	ec2-54-227-210-107.compute-1.amazonaws.com	US
54.205.24.129	ec2-54-205-24-129.compute-1.amazonaws.com	US
107.22.155.173	ec2-107-22-155-173.compute-1.amazonaws.com	US
54.226.14.237	ec2-54-226-14-237.compute-1.amazonaws.com	US
54.196.41.191	ec2-54-196-41-191.compute-1.amazonaws.com	US
50.16.77.161	ec2-50-16-77-161.compute-1.amazonaws.com	US
54.204.136.208	ec2-54-204-136-208.compute-1.amazonaws.com	US
54.196.226.28	ec2-54-196-226-28.compute-1.amazonaws.com	US
50.19.144.149	ec2-50-19-144-149.compute-1.amazonaws.com	US
54.198.197.37	ec2-54-198-197-37.compute-1.amazonaws.com	US
54.197.109.6	ec2-54-197-109-6.compute-1.amazonaws.com	US
54.80.127.71	ec2-54-80-127-71.compute-1.amazonaws.com	US
54.237.85.140	ec2-54-237-85-140.compute-1.amazonaws.com	US
54.242.121.169	ec2-54-242-121-169.compute-1.amazonaws.com	US
54.234.238.253	ec2-54-234-238-253.compute-1.amazonaws.com	US
54.226.56.203	ec2-54-226-56-203.compute-1.amazonaws.com	US
54.197.92.79	ec2-54-197-92-79.compute-1.amazonaws.com	US

使用者代理字串: Cliqzbot/0.1 (+http://cliqz.com +cliqzbot@cliqz.com)

首次出現: 2013-10-15 15:10:00

最後出現: 2013-10-08 12:58:10

遵循robots.txt: 未知

來源

IP地址(7)	伺服器名稱	所屬國家
52.28.135.166	ec2-52-28-135-166.eu-central-1.compute.amazonaws.com	DE
52.28.145.148	ec2-52-28-145-148.eu-central-1.compute.amazonaws.com	DE
52.28.158.181	ec2-52-28-158-181.eu-central-1.compute.amazonaws.com	DE
52.28.166.22	ec2-52-28-166-22.eu-central-1.compute.amazonaws.com	DE
52.28.171.26	ec2-52-28-171-26.eu-central-1.compute.amazonaws.com	DE
81.169.171.248	h2237995.stratoserver.net	DE
85.214.240.18	h2216551.stratoserver.net	DE
52.28.129.10	ec2-52-28-129-10.eu-central-1.compute.amazonaws.com	DE
85.214.210.240	h2216548.stratoserver.net	DE
81.169.237.221	h2247631.stratoserver.net	DE
85.214.34.241	h2216753.stratoserver.net	DE
85.214.35.165	h2216746.stratoserver.net	DE
81.169.240.47	h2244546.stratoserver.net	DE
85.214.218.4	h2216554.stratoserver.net	DE
81.169.245.53	h2237879.stratoserver.net	DE
85.214.253.23	h2216557.stratoserver.net	DE
85.214.35.31	h2216765.stratoserver.net	DE
81.169.245.48	h2238103.stratoserver.net	DE
85.214.229.175	h2219923.stratoserver.net	DE
85.214.35.24	h2216756.stratoserver.net	DE
85.214.34.172	h2216762.stratoserver.net	DE
85.214.35.37	h2216759.stratoserver.net	DE
85.214.200.7	h2216560.stratoserver.net	DE
81.169.252.245	h2219903.stratoserver.net	DE
81.169.240.45	h2244495.stratoserver.net	DE
85.214.34.231	h2216771.stratoserver.net	DE
81.169.239.195	h2244402.stratoserver.net	FR

使用者代理字串: Cliqzbot/0.1 (+http://cliqz.com +cliqzbot@cliqz.com)

首次出現: 2013-10-15 15:10:00

最後出現: 2013-10-08 12:58:10

遵循robots.txt: 未知

來源

IP地址(7)	伺服器名稱	所屬國家
85.214.200.7	h2216560.stratoserver.net	DE
85.214.229.175	h2219923.stratoserver.net	DE
85.214.34.172	h2216762.stratoserver.net	DE
85.214.35.165	h2216746.stratoserver.net	DE
85.214.35.24	h2216756.stratoserver.net	DE
85.214.35.37	h2216759.stratoserver.net	DE
81.169.252.245	h2219903.stratoserver.net	DE

使用者代理字串: Cliqz Bot (+http://www.cliqz.com)

首次出現: 2013-09-27 08:30:08

最後出現: 2013-09-22 02:04:29

遵循robots.txt: 未知

來源

IP地址(5)	伺服器名稱	所屬國家
85.214.34.241	h2216753.stratoserver.net	DE
85.214.35.24	h2216756.stratoserver.net	DE
85.214.35.57	h2216749.stratoserver.net	DE
85.214.35.71	h2216737.stratoserver.net	DE
46.163.120.136	vcs.win.cmp.hosteurope.de	DE

訪問控制

瞭解如何控制CliqzBot訪問許可權，避免CliqzBot抓取行為不當。

是否攔截CliqzBot？

一般不要攔截。搜尋引擎爬蟲為搜尋引擎提供動力，是使用者發現您網站的有效途徑。事實上，攔截搜尋引擎爬蟲可能會嚴重減少網站的自然流量。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 CliqzBot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。

# robots.txt

# 下列程式碼一般情況可以攔截該代理

User-agent: CliqzBot

Disallow: /

# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: CliqzBot Disallow: /

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: CliqzBot
Disallow: /

您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

站長工具

我們為站長量身定做的高效工具集。

檢視全部工具

常見蜘蛛/爬蟲

Common Spiders

Mithril

Mithril蜘蛛/爬蟲屬於搜尋引擎型別，由University of Michigan開發執行。您可以繼續閱讀下方資訊，以深入瞭解Mithril基本資訊，使用者代理和訪問控制等。

fynd.bot crawler

fynd.bot crawler蜘蛛/爬蟲屬於搜尋引擎型別，由fynd.bot開發執行。您可以繼續閱讀下方資訊，以深入瞭解fynd.bot crawler基本資訊，使用者代理和訪問控制等。

Alibaba crawler

Alibaba crawler蜘蛛/爬蟲屬於搜尋引擎型別，由Alibaba Group開發執行。您可以繼續閱讀下方資訊，以深入瞭解Alibaba crawler基本資訊，使用者代理和訪問控制等。

Googlebot

GoogleBot蜘蛛/爬蟲屬於搜尋引擎型別，由Google Inc.開發執行。您可以繼續閱讀下方資訊，以深入瞭解GoogleBot基本資訊，使用者代理和訪問控制等。

Swisscows Crawler

Swisscows Crawler蜘蛛/爬蟲屬於搜尋引擎型別，由Swisscows AG開發執行。您可以繼續閱讀下方資訊，以深入瞭解Swisscows Crawler基本資訊，使用者代理和訪問控制等。

star-finder.de Bot

star-finder.de Bot蜘蛛/爬蟲屬於搜尋引擎型別，由projektnet開發執行。您可以繼續閱讀下方資訊，以深入瞭解star-finder.de Bot基本資訊，使用者代理和訪問控制等。

SeznamBot

SeznamBot蜘蛛/爬蟲屬於搜尋引擎型別，由Seznam.cz, a.s.開發執行。您可以繼續閱讀下方資訊，以深入瞭解SeznamBot基本資訊，使用者代理和訪問控制等。

MojeekBot

MojeekBot蜘蛛/爬蟲屬於搜尋引擎型別，由Mojeek Ltd.開發執行。您可以繼續閱讀下方資訊，以深入瞭解MojeekBot基本資訊，使用者代理和訪問控制等。

如何做搜尋引擎蜘蛛日誌分析

搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案，分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點，及檢視搜尋引擎蜘蛛在一段時間內的行為。

什麼是抓取預算（Crawl Budget）及如何最大化其利用價值

抓取預算（Crawl Budget），您又可以將之稱為抓取頻率、抓取量。這個量一般是由搜尋引擎蜘蛛根據網站的質量度和權重給域名分配的。理解抓取預算的定義，重要性及最大化其效率，這有利於網站的索引、排名。

怎樣才算有利於SEO的網站結構

眾所周知，扁平且層級不超過三級的網站結構是最有利於搜尋引擎蜘蛛爬取的。顯淺的一句看似易懂但如深入，又未必是那麼容易理解。下面我們將深入瞭解網站結構的定義，重要性及實踐，以便於各位技術開發、站長和SEOer在未來的網站開發及運營中應用。

為什麼要控制Googlebot抓取速度？

在本文中，我們將瞭解您為什麼要控制Googlebot以及如何控制Googlebot和其他搜尋引擎爬蟲的抓取速度。

如何攔截Google和Bing訪問您的網站？

在本文中，我們將解釋如何遮蔽Googlebot和Bingbot，遮蔽爬蟲後會發生什麼以及出現爬取問題的常見原因。

Bing網站管理員工具Bingbot網站爬取頻率設定

Bing網站管理員工具中的爬網空間功能允許網站管理員控制Bingbot抓取您的網站的速率。當您的網站上有訪問者以適當地管理頻寬時，需要進行爬網控制以限制Bingbot和Googlebot等搜尋引擎蜘蛛的活動。

WordPress攔截IP地址的6種方法

當網站規模擴大時，您需要採取某些措施來限制來自評論垃圾郵件傳送者、無效機器人和人類攻擊者的流量。這對於保護您的伺服器資源可用於真實使用者以及您支付託管費用以獲得真實訪問者至關重要。在本文中，我們將解釋在WordPress中攔截IP地址的6種方法。

如何禁止搜尋引擎索引WordPress網站

您可能想要隱藏站點上的內容的原因有很多，但依靠“建議搜尋引擎不索引本站點”選項並不是確保此類內容不被看到的最佳方法。除非您想在網路上隱藏您的整個網站，否則永遠不要單擊此選項，因為如果不小心切換，它會對您的SEO造成巨大損害。

CliqzBot

基本資訊

使用者代理

訪問控制

是否攔截CliqzBot？

通過Robots.txt攔截

站長工具

常見蜘蛛/爬蟲

相關文章