Google AMP crawler
Google AMP crawler蜘蛛/爬蟲屬於工具型別,由Google Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Google AMP crawler基本資訊,使用者代理和訪問控制等。
基本資訊
Google AMP crawler的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲,可能存在資訊不明的情況。
- 蜘蛛/爬蟲名稱
- Google AMP crawler
- 型別
- 工具
- 開發商
-
Google Inc.
- 當前狀態
-
活動
使用者代理
關於Google AMP crawler蜘蛛或者爬蟲的使用者代理字串,IP地址和伺服器,所在地等資訊如下表格所示:
Google-AMPHTML
-
Google-AMPHTML
-
Google-AMPHTML
-
Google-AMPHTML
-
Google-AMPHTML
-
Google-AMPHTML
-
Google-AMPHTML
-
Google-AMPHTML
-
Google-AMPHTML
-
Google-AMPHTML
-
Google-AMPHTML
-
Google-AMPHTML
-
Google-AMPHTML
-
Google-AMPHTML
-
Google-AMPHTML
-
Google-AMPHTML
-
Google-AMPHTML
-
Google-AMPHTML
-
Google-AMPHTML
-
Google-AMPHTML
-
Google-AMPHTML
-
Google-AMPHTML
-
Google-AMPHTML
-
Google-AMPHTML
-
Google-AMPHTML
-
AMP validator
-
AMP validator
-
Google-AMPHTML
-
Google-AMPHTML
-
Google-AMPHTML
- 使用者代理字串
- Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.5060.134 Mobile Safari/537.36 (compatible; Google-AMPHTML)
- 首次出現
- 2022-07-27 04:53:35
- 最後出現
- 2022-07-27 04:53:35
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 74.125.210.136 |
google-proxy-74-125-210-136.google.com |
US |
- 使用者代理字串
- Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.5005.115 Mobile Safari/537.36 (compatible; Google-AMPHTML)
- 首次出現
- 2022-06-21 05:07:06
- 最後出現
- 2022-06-21 07:49:21
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 66.249.84.168 |
google-proxy-66-249-84-168.google.com |
US |
- 使用者代理字串
- Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.75 Mobile Safari/537.36 (compatible; Google-AMPHTML)
- 首次出現
- 2022-04-11 06:00:26
- 最後出現
- 2022-04-11 06:00:26
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 64.233.173.30 |
google-proxy-64-233-173-30.google.com |
US |
- 使用者代理字串
- Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.60 Mobile Safari/537.36 (compatible; Google-AMPHTML)
- 首次出現
- 2022-04-05 08:43:43
- 最後出現
- 2022-04-05 07:35:31
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(3) |
伺服器名稱 |
所屬國家 |
| 74.125.208.14 |
google-proxy-74-125-208-14.google.com |
US |
| 74.125.208.16 |
google-proxy-74-125-208-16.google.com |
US |
| 66.249.81.106 |
google-proxy-66-249-81-106.google.com |
US |
- 使用者代理字串
- Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Mobile Safari/537.36 (compatible; Google-AMPHTML)
- 首次出現
- 2022-02-18 09:19:47
- 最後出現
- 2022-02-22 07:56:52
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(3) |
伺服器名稱 |
所屬國家 |
| 66.249.81.104 |
google-proxy-66-249-81-104.google.com |
US |
| 64.233.173.30 |
google-proxy-64-233-173-30.google.com |
US |
| 66.249.81.108 |
google-proxy-66-249-81-108.google.com |
? |
- 使用者代理字串
- Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.80 Mobile Safari/537.36 (compatible; Google-AMPHTML)
- 首次出現
- 2022-02-08 11:19:20
- 最後出現
- 2022-02-14 18:00:55
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(2) |
伺服器名稱 |
所屬國家 |
| 66.249.81.106 |
google-proxy-66-249-81-106.google.com |
US |
| 66.249.84.26 |
google-proxy-66-249-84-26.google.com |
US |
- 使用者代理字串
- Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Mobile Safari/537.36 (compatible; Google-AMPHTML)
- 首次出現
- 2022-01-22 14:57:01
- 最後出現
- 2022-01-22 14:57:01
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 66.249.81.106 |
google-proxy-66-249-81-106.google.com |
US |
- 使用者代理字串
- Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Mobile Safari/537.36 (compatible; Google-AMPHTML)
- 首次出現
- 2022-01-18 05:19:02
- 最後出現
- 2022-01-18 16:01:37
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(2) |
伺服器名稱 |
所屬國家 |
| 66.102.8.235 |
google-proxy-66-102-8-235.google.com |
US |
| 66.249.81.12 |
google-proxy-66-249-81-12.google.com |
US |
- 使用者代理字串
- Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Mobile Safari/537.36 (compatible; Google-AMPHTML)
- 首次出現
- 2021-12-23 15:19:15
- 最後出現
- 2022-01-04 19:06:36
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(5) |
伺服器名稱 |
所屬國家 |
| 66.249.81.12 |
google-proxy-66-249-81-12.google.com |
US |
| 66.249.81.8 |
google-proxy-66-249-81-8.google.com |
US |
| 66.249.81.10 |
google-proxy-66-249-81-10.google.com |
US |
| 64.233.173.28 |
google-proxy-64-233-173-28.google.com |
US |
| 66.102.9.14 |
google-proxy-66-102-9-14.google.com |
FR |
- 使用者代理字串
- Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.83 Mobile Safari/537.36 (compatible; Google-AMPHTML)
- 首次出現
- 2021-09-14 19:34:26
- 最後出現
- 2021-09-14 19:34:26
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 66.102.8.33 |
google-proxy-66-102-8-33.google.com |
US |
- 使用者代理字串
- Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.119 Mobile Safari/537.36 (compatible; Google-AMPHTML)
- 首次出現
- 2021-07-31 15:08:15
- 最後出現
- 2021-08-24 18:32:20
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(3) |
伺服器名稱 |
所屬國家 |
| 66.249.81.138 |
google-proxy-66-249-81-138.google.com |
US |
| 66.249.81.141 |
google-proxy-66-249-81-141.google.com |
US |
| 66.249.81.173 |
google-proxy-66-249-81-173.google.com |
US |
- 使用者代理字串
- Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.90 Mobile Safari/537.36 (compatible; Google-AMPHTML)
- 首次出現
- 2021-06-13 06:25:16
- 最後出現
- 2021-06-22 13:02:55
- 遵循robots.txt
- 否
- 來源
-
| IP地址(3) |
伺服器名稱 |
所屬國家 |
| 66.102.9.28 |
google-proxy-66-102-9-28.google.com |
US |
| 66.249.81.172 |
google-proxy-66-249-81-172.google.com |
US |
| 66.249.84.168 |
google-proxy-66-249-84-168.google.com |
US |
- 使用者代理字串
- Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.97 Mobile Safari/537.36 (compatible; Google-AMPHTML)
- 首次出現
- 2021-05-10 19:12:29
- 最後出現
- 2021-05-23 09:55:54
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 64.233.173.74 |
google-proxy-64-233-173-74.google.com |
KR |
- 使用者代理字串
- Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.130 Mobile Safari/537.36 (compatible; Google-AMPHTML)
- 首次出現
- 2021-04-29 02:09:44
- 最後出現
- 2021-04-29 02:09:44
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 66.249.84.217 |
google-proxy-66-249-84-217.google.com |
US |
- 使用者代理字串
- Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.127 Mobile Safari/537.36 (compatible; Google-AMPHTML)
- 首次出現
- 2021-04-13 17:51:36
- 最後出現
- 2021-04-13 17:51:36
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 64.233.173.134 |
google-proxy-64-233-173-134.google.com |
US |
- 使用者代理字串
- Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.125 Mobile Safari/537.36 (compatible; Google-AMPHTML)
- 首次出現
- 2021-04-09 20:05:25
- 最後出現
- 2021-04-09 20:05:25
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 66.249.84.174 |
google-proxy-66-249-84-174.google.com |
US |
- 使用者代理字串
- Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.109 Mobile Safari/537.36 (compatible; Google-AMPHTML)
- 首次出現
- 2021-03-28 10:49:15
- 最後出現
- 2021-03-28 10:49:15
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 66.249.81.140 |
google-proxy-66-249-81-140.google.com |
US |
- 使用者代理字串
- Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.138 Mobile Safari/537.36 (compatible; Google-AMPHTML)
- 首次出現
- 2021-02-01 04:36:51
- 最後出現
- 2021-02-01 04:36:51
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 64.233.173.134 |
google-proxy-64-233-173-134.google.com |
US |
- 使用者代理字串
- Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.90 Mobile Safari/537.36 (compatible; Google-AMPHTML)
- 首次出現
- 2021-01-04 13:59:18
- 最後出現
- 2021-01-07 15:42:36
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(2) |
伺服器名稱 |
所屬國家 |
| 66.102.8.106 |
google-proxy-66-102-8-106.google.com |
US |
| 66.249.81.136 |
google-proxy-66-249-81-136.google.com |
US |
- 使用者代理字串
- Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.96 Mobile Safari/537.36 (compatible; Google-AMPHTML)
- 首次出現
- 2020-10-26 07:29:25
- 最後出現
- 2020-10-26 07:29:25
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 64.233.173.135 |
google-proxy-64-233-173-135.google.com |
SG |
- 使用者代理字串
- Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.79 Mobile Safari/537.36 (compatible; Google-AMPHTML)
- 首次出現
- 2020-10-12 20:48:16
- 最後出現
- 2020-10-12 20:48:16
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 66.102.9.138 |
google-proxy-66-102-9-138.google.com |
US |
- 使用者代理字串
- Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.140 Mobile Safari/537.36 (compatible; Google-AMPHTML)
- 首次出現
- 2020-10-06 09:01:12
- 最後出現
- 2020-10-07 13:27:39
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(2) |
伺服器名稱 |
所屬國家 |
| 64.233.173.134 |
google-proxy-64-233-173-134.google.com |
US |
| 66.249.81.140 |
google-proxy-66-249-81-140.google.com |
US |
- 使用者代理字串
- Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.132 Mobile Safari/537.36 (compatible; Google-AMPHTML)
- 首次出現
- 2020-09-28 13:41:56
- 最後出現
- 2020-09-28 13:41:56
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 66.249.81.140 |
google-proxy-66-249-81-140.google.com |
US |
- 使用者代理字串
- Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.106 Mobile Safari/537.36 (compatible; Google-AMPHTML)
- 首次出現
- 2020-09-13 17:27:12
- 最後出現
- 2020-09-13 17:27:12
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(2) |
伺服器名稱 |
所屬國家 |
| 64.233.173.136 |
google-proxy-64-233-173-136.google.com |
US |
| 64.233.173.135 |
google-proxy-64-233-173-135.google.com |
SG |
- 使用者代理字串
- Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MTC19V) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.81 Mobile Safari/537.36 (compatible; validator.ampproject.org) AppEngine-Google; (+http://code.google.com/appengine; appid: s~amp-validator)
- 首次出現
- 2017-03-03 14:40:16
- 最後出現
- 2020-06-18 14:19:56
- 遵循robots.txt
- 否
- 來源
-
| IP地址(14) |
伺服器名稱 |
所屬國家 |
| 2600:1900:2000:9::f |
ipv6.gae.googleusercontent.com |
US |
| 107.178.200.207 |
? |
US |
| 2600:1900:2001:10::20 |
ipv6.gae.googleusercontent.com |
US |
| 35.203.245.112 |
? |
US |
| 35.243.23.92 |
? |
US |
- 使用者代理字串
- Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MTC19V) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.81 Mobile Safari/537.36 (compatible; validator.ampproject.org) AppEngine-Google; (+http://code.google.com/appengine; appid: s~amp-validator)
- 首次出現
- 2017-03-03 14:40:16
- 最後出現
- 2020-06-18 14:19:56
- 遵循robots.txt
- 否
- 來源
-
| IP地址(10) |
伺服器名稱 |
所屬國家 |
| 35.243.23.92 |
? |
US |
| 35.243.23.64 |
? |
US |
| 107.178.194.58 |
? |
US |
| 107.178.194.152 |
? |
US |
| 107.178.194.154 |
? |
US |
- 使用者代理字串
- Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Google-AMPHTML)
- 首次出現
- 2018-07-20 05:48:17
- 最後出現
- 2020-05-12 18:05:37
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(10) |
伺服器名稱 |
所屬國家 |
| 66.102.8.186 |
google-proxy-66-102-8-186.google.com |
US |
| 66.102.9.156 |
google-proxy-66-102-9-156.google.com |
US |
| 66.102.9.158 |
google-proxy-66-102-9-158.google.com |
US |
| 66.249.93.122 |
google-proxy-66-249-93-122.google.com |
US |
| 66.249.93.126 |
google-proxy-66-249-93-126.google.com |
US |
- 使用者代理字串
- Google-AMPHTML
- 首次出現
- 2017-01-15 09:35:31
- 最後出現
- 2018-03-09 10:16:38
- 遵循robots.txt
- 否
- 來源
-
| IP地址(73) |
伺服器名稱 |
所屬國家 |
| 66.249.81.52 |
google-proxy-66-249-81-52.google.com |
US |
| 64.233.173.29 |
google-proxy-64-233-173-29.google.com |
US |
| 66.102.9.207 |
google-proxy-66-102-9-207.google.com |
US |
| 64.233.173.40 |
google-proxy-64-233-173-40.google.com |
US |
| 64.233.173.62 |
google-proxy-64-233-173-62.google.com |
US |
- 使用者代理字串
- Google-AMPHTML
- 首次出現
- 2017-01-15 09:35:31
- 最後出現
- 2018-03-09 10:16:38
- 遵循robots.txt
- 否
- 來源
-
| IP地址(8) |
伺服器名稱 |
所屬國家 |
| 66.249.88.95 |
google-proxy-66-249-88-95.google.com |
US |
| 66.249.88.93 |
google-proxy-66-249-88-93.google.com |
US |
| 66.249.88.91 |
google-proxy-66-249-88-91.google.com |
US |
| 66.249.83.158 |
google-proxy-66-249-83-158.google.com |
US |
| 66.249.88.15 |
google-proxy-66-249-88-15.google.com |
US |
訪問控制
瞭解如何控制Google AMP crawler訪問許可權,避免Google AMP crawler抓取行為不當。
是否攔截Google AMP crawler?
可能不需要。工具型別爬蟲通常為網站所有者使用此類工具對網站進行相關服務請求才會出現。當然,實際情況需站長判斷後再作決定。
通過Robots.txt攔截
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Google AMP crawler 或限制其訪問許可權。我們建議安裝 Spider Analyser
外掛,以檢查它是否真正遵循這些規則。
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: Google AMP crawler
Disallow: /
您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。