Prerender

Prerender蜘蛛/爬蟲屬於工具型別,由Saas.group LLC開發執行。您可以繼續閱讀下方資訊,以深入瞭解Prerender基本資訊,使用者代理和訪問控制等。

基本資訊

Prerender的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲,可能存在資訊不明的情況。
蜘蛛/爬蟲名稱
Prerender
型別
工具
開發商
Saas.group LLC
當前狀態
活動

使用者代理

關於Prerender蜘蛛或者爬蟲的使用者代理字串,IP地址和伺服器,所在地等資訊如下表格所示:
Prerender
使用者代理字串
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/97.0.4692.99 Safari/537.36 Prerender (+https://github.com/prerender/prerender)
首次出現
2022-06-19 15:06:14
最後出現
2022-08-27 18:16:21
遵循robots.txt
未知
來源
IP地址(6) 伺服器名稱 所屬國家
51.81.93.117 vhf-k8s-b11.node.prerender.io US
135.148.54.17 vhf-k8s-b17.node.prerender.io US
51.81.47.43 vhf-k8s-b1.node.prerender.io US
135.148.55.151 vhf-k8s-b15.node.prerender.io ?
51.81.47.17 vhf-k8s-b2.node.prerender.io ?
使用者代理字串
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/98.0.4758.80 Safari/537.36 Prerender (+https://github.com/prerender/prerender)
首次出現
2022-02-16 09:30:58
最後出現
2022-07-16 12:34:15
遵循robots.txt
來源
IP地址(10) 伺服器名稱 所屬國家
104.224.13.61 us-mci1-p61.renders.prerender.io US
159.69.172.179 fi-hel1-9f45acb3.renders.prerender.io DE
157.90.99.7 de-fsn1-9d5a6307.renders.prerender.io DE
104.224.14.13 us-ogd1-p13.renders.prerender.io US
188.34.148.144 de-fsn1-bc229490.renders.prerender.io DE
使用者代理字串
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/89.0.4389.72 Safari/537.36 Prerender (+https://github.com/prerender/prerender)
首次出現
2022-02-28 13:00:55
最後出現
2022-02-28 13:00:55
遵循robots.txt
未知
使用者代理字串
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/61.0.3159.5 Safari/537.36 Prerender (+https://github.com/prerender/prerender)
首次出現
2021-04-13 16:12:35
最後出現
2021-04-13 16:12:35
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
80.110.106.215 80-110-106-215.cgn.dynamic.surfer.at AT
使用者代理字串
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/84.0.4147.89 Safari/537.36 Prerender (+https://github.com/prerender/prerender)
首次出現
2020-08-24 10:52:50
最後出現
2021-03-05 10:44:34
遵循robots.txt
來源
IP地址(10) 伺服器名稱 所屬國家
104.224.14.99 us-ogd1-p99.renders.prerender.io BB
104.224.14.75 us-ogd1-p75.renders.prerender.io BB
104.224.14.70 us-ogd1-p70.renders.prerender.io BB
188.34.149.17 fi-hel1-p17.renders.prerender.io IR
2a01:4f8:13b:4194::2 de-fsn1-9.renders.prerender.io DE
使用者代理字串
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/66.0.3359.170 Safari/537.36 Prerender (+https://github.com/prerender/prerender)
首次出現
2019-10-15 08:35:28
最後出現
2021-02-09 06:35:07
遵循robots.txt
來源
IP地址(10) 伺服器名稱 所屬國家
52.90.149.131 ec2-52-90-149-131.compute-1.amazonaws.com US
3.94.101.50 ec2-3-94-101-50.compute-1.amazonaws.com US
3.82.55.220 ec2-3-82-55-220.compute-1.amazonaws.com US
52.207.88.31 ec2-52-207-88-31.compute-1.amazonaws.com US
3.85.130.208 ec2-3-85-130-208.compute-1.amazonaws.com US
使用者代理字串
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/68.0.3440.106 Safari/537.36 Prerender (+https://github.com/prerender/prerender)
首次出現
2020-12-09 19:03:04
最後出現
2020-12-09 19:03:04
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
159.69.184.126 static.126.184.69.159.clients.your-server.de DE
使用者代理字串
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/83.0.4103.116 Safari/537.36 Prerender (+https://github.com/prerender/prerender)
首次出現
2020-11-02 10:39:34
最後出現
2020-11-02 10:39:34
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
212.89.8.82 listas.fundacionctic.org ES
使用者代理字串
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/71.0.3578.98 Safari/537.36 Prerender (+https://github.com/prerender/prerender)
首次出現
2020-05-12 16:00:32
最後出現
2020-09-07 15:04:56
遵循robots.txt
來源
IP地址(10) 伺服器名稱 所屬國家
173.231.62.75 173-231-62-75.static.webnx.com US
173.231.62.69 173-231-62-69.static.webnx.com US
46.4.66.240 de-fsn1-19.renders.prerender.io DE
46.4.62.118 de-fsn1-23.renders.prerender.io DE
2a01:4f8:120:218b::2 de-fsn1-32.renders.prerender.io DE
使用者代理字串
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/71.0.3578.80 Safari/537.36 Prerender (+https://github.com/prerender/prerender)
首次出現
2020-01-18 10:21:23
最後出現
2020-05-07 09:22:54
遵循robots.txt
來源
IP地址(10) 伺服器名稱 所屬國家
54.167.22.94 ec2-54-167-22-94.compute-1.amazonaws.com US
54.144.221.39 ec2-54-144-221-39.compute-1.amazonaws.com US
3.81.127.155 ec2-3-81-127-155.compute-1.amazonaws.com US
54.243.17.185 ec2-54-243-17-185.compute-1.amazonaws.com US
54.85.200.255 ec2-54-85-200-255.compute-1.amazonaws.com US
使用者代理字串
Mozilla/5.0 (Unknown; Linux x86_64) AppleWebKit/538.1 (KHTML, like Gecko) PhantomJS/2.1.1 Safari/538.1 Prerender (+https://github.com/prerender/prerender)
首次出現
2016-05-28 10:19:52
最後出現
2020-01-13 11:31:32
遵循robots.txt
來源
IP地址(10) 伺服器名稱 所屬國家
54.204.132.250 ec2-54-204-132-250.compute-1.amazonaws.com US
54.158.97.26 ec2-54-158-97-26.compute-1.amazonaws.com US
54.211.135.148 ec2-54-211-135-148.compute-1.amazonaws.com US
54.167.51.161 ec2-54-167-51-161.compute-1.amazonaws.com US
54.234.133.129 ec2-54-234-133-129.compute-1.amazonaws.com US
使用者代理字串
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/61.0.3163.59 Safari/537.36 Prerender (+https://github.com/prerender/prerender)
首次出現
2018-07-30 11:01:47
最後出現
2018-09-18 11:45:35
遵循robots.txt
未知
來源
IP地址(2) 伺服器名稱 所屬國家
18.232.178.62 ec2-18-232-178-62.compute-1.amazonaws.com US
54.236.240.102 ec2-54-236-240-102.compute-1.amazonaws.com US
使用者代理字串
Mozilla/5.0 (Unknown; Linux x86_64) AppleWebKit/534.34 (KHTML, like Gecko) PhantomJS/1.9.8 Safari/534.34 Prerender (+https://github.com/prerender/prerender)
首次出現
2016-01-28 11:12:43
最後出現
2016-01-28 11:12:43
遵循robots.txt
來源
IP地址(567) 伺服器名稱 所屬國家
159.69.172.182 fi-hel1-9f45acb6.renders.prerender.io DE
157.90.99.20 de-fsn1-9d5a6314.renders.prerender.io DE
104.224.13.75 us-mci1-p75.renders.prerender.io US
157.90.99.6 de-fsn1-9d5a6306.renders.prerender.io DE
168.119.133.84 fi-hel1-a8778554.renders.prerender.io DE
使用者代理字串
Mozilla/5.0 (Unknown; Linux x86_64) AppleWebKit/534.34 (KHTML, like Gecko) PhantomJS/1.9.8 Safari/534.34 Prerender (+https://github.com/prerender/prerender)
首次出現
2016-01-28 11:12:43
最後出現
2016-01-28 11:12:43
遵循robots.txt
未知
來源
IP地址(2) 伺服器名稱 所屬國家
159.203.71.65 ? US
185.30.97.26 ? RU

訪問控制

瞭解如何控制Prerender訪問許可權,避免Prerender抓取行為不當。

是否攔截Prerender?

可能不需要。工具型別爬蟲通常為網站所有者使用此類工具對網站進行相關服務請求才會出現。當然,實際情況需站長判斷後再作決定。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Prerender 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: Prerender
Disallow: /

您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

常見蜘蛛/爬蟲

Common Spiders
SearchScore bot
SearchScore bot蜘蛛/爬蟲屬於工具型別,由Product Specialists Ltd開發執行。您可以繼續閱讀下方資訊,以深入瞭解SearchScore bot基本資訊,使用者代理和訪問控制等。
ModernizeBot
ModernizeBot蜘蛛/爬蟲屬於工具型別,由ModernizeYourWebsite.com開發執行。您可以繼續閱讀下方資訊,以深入瞭解ModernizeBot基本資訊,使用者代理和訪問控制等。
SEODiffBot
SEODiffBot蜘蛛/爬蟲屬於工具型別,由SEODiff開發執行。您可以繼續閱讀下方資訊,以深入瞭解SEODiffBot基本資訊,使用者代理和訪問控制等。
Misskey bot
Misskey bot蜘蛛/爬蟲屬於工具型別,由Misskey Project開發執行。您可以繼續閱讀下方資訊,以深入瞭解Misskey bot基本資訊,使用者代理和訪問控制等。
Validbot
Validbot蜘蛛/爬蟲屬於工具型別,由Jake Olefsky開發執行。您可以繼續閱讀下方資訊,以深入瞭解Validbot基本資訊,使用者代理和訪問控制等。
Google-BusinessLinkVerification
Google-BusinessLinkVerification蜘蛛/爬蟲屬於工具型別,由Google Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Google-BusinessLinkVerification基本資訊,使用者代理和訪問控制等。
StatusNest
StatusNest蜘蛛/爬蟲屬於工具型別,由StatusNest開發執行。您可以繼續閱讀下方資訊,以深入瞭解StatusNest基本資訊,使用者代理和訪問控制等。
Observatory
Observatory蜘蛛/爬蟲屬於工具型別,由Mozilla Foundation開發執行。您可以繼續閱讀下方資訊,以深入瞭解Observatory基本資訊,使用者代理和訪問控制等。

相關文章

Related Articles