GoogleDocs

GoogleDocs蜘蛛/爬蟲屬於工具型別,由Google Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解GoogleDocs基本資訊,使用者代理和訪問控制等。

基本資訊

GoogleDocs的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲,可能存在資訊不明的情況。
蜘蛛/爬蟲名稱
GoogleDocs
型別
工具
開發商
Google Inc.
當前狀態
活動

使用者代理

關於GoogleDocs蜘蛛或者爬蟲的使用者代理字串,IP地址和伺服器,所在地等資訊如下表格所示:
GoogleDocs; drawings
使用者代理字串
Mozilla/5.0 (compatible; GoogleDocs; drawings; +http://docs.google.com)
首次出現
2016-03-12 11:45:21
最後出現
2024-11-01 18:54:29
遵循robots.txt
來源
IP地址(12) 伺服器名稱 所屬國家
66.249.83.102 google-proxy-66-249-83-102.google.com US
66.249.88.218 google-proxy-66-249-88-218.google.com US
66.249.88.88 google-proxy-66-249-88-88.google.com US
66.249.88.152 google-proxy-66-249-88-152.google.com US
66.102.8.4 google-proxy-66-102-8-4.google.com US
使用者代理字串
Mozilla/5.0 (compatible; GoogleDocs; apps-presentations; +http://docs.google.com)
首次出現
2016-11-07 15:46:10
最後出現
2024-11-01 18:52:45
遵循robots.txt
來源
IP地址(13) 伺服器名稱 所屬國家
66.249.88.212 google-proxy-66-249-88-212.google.com US
66.249.88.218 google-proxy-66-249-88-218.google.com US
66.249.88.86 google-proxy-66-249-88-86.google.com US
66.102.7.150 google-proxy-66-102-7-150.google.com US
66.249.83.44 google-proxy-66-249-83-44.google.com US
使用者代理字串
Mozilla/5.0 (compatible; GoogleDocs; documents; +http://docs.google.com)
首次出現
2016-10-11 13:51:14
最後出現
2024-11-01 18:51:07
遵循robots.txt
來源
IP地址(17) 伺服器名稱 所屬國家
74.125.210.40 google-proxy-74-125-210-40.google.com US
74.125.210.38 google-proxy-74-125-210-38.google.com US
66.249.88.216 google-proxy-66-249-88-216.google.com US
66.249.88.214 google-proxy-66-249-88-214.google.com US
66.102.6.166 google-proxy-66-102-6-166.google.com US
使用者代理字串
Mozilla/5.0 (compatible; GoogleDocs; apps-spreadsheets; +http://docs.google.com)
首次出現
2016-05-16 03:22:46
最後出現
2024-05-06 06:58:48
遵循robots.txt
來源
IP地址(42) 伺服器名稱 所屬國家
66.249.92.131 rate-limited-proxy-66-249-92-131.google.com US
66.249.92.159 rate-limited-proxy-66-249-92-159.google.com US
66.249.92.39 rate-limited-proxy-66-249-92-39.google.com US
66.249.92.40 rate-limited-proxy-66-249-92-40.google.com US
66.249.92.73 rate-limited-proxy-66-249-92-73.google.com US
使用者代理字串
Mozilla/5.0 (compatible; GoogleDocs; jam; +http://docs.google.com)
首次出現
2022-03-21 12:33:21
最後出現
2022-03-21 12:33:21
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
66.102.8.43 google-proxy-66-102-8-43.google.com US
使用者代理字串
Mozilla/5.0 (compatible; GoogleDocs; +http://docs.google.com; +Google-Document-Conversion)
首次出現
2015-12-21 11:03:01
最後出現
2021-09-19 05:22:41
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
66.249.83.100 google-proxy-66-249-83-100.google.com US
74.125.213.4 google-proxy-74-125-213-4.google.com US
64.233.172.63 google-proxy-64-233-172-63.google.com US
74.125.213.29 google-proxy-74-125-213-29.google.com US
74.125.213.1 google-proxy-74-125-213-1.google.com US
使用者代理字串
Mozilla/5.0 (compatible; GoogleDocs; spreadsheet_forms; +http://docs.google.com)
首次出現
2016-03-12 01:45:23
最後出現
2019-08-21 10:50:03
遵循robots.txt
來源
IP地址(6) 伺服器名稱 所屬國家
66.102.8.8 google-proxy-66-102-8-8.google.com US
66.102.8.4 google-proxy-66-102-8-4.google.com US
66.102.8.54 google-proxy-66-102-8-54.google.com US
64.233.172.148 google-proxy-64-233-172-148.google.com US
66.102.8.50 google-proxy-66-102-8-50.google.com US

訪問控制

瞭解如何控制GoogleDocs訪問許可權,避免GoogleDocs抓取行為不當。

是否攔截GoogleDocs?

可能不需要。工具型別爬蟲通常為網站所有者使用此類工具對網站進行相關服務請求才會出現。當然,實際情況需站長判斷後再作決定。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 GoogleDocs 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: GoogleDocs
Disallow: /

您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

常見蜘蛛/爬蟲

Common Spiders
SearchScore bot
SearchScore bot蜘蛛/爬蟲屬於工具型別,由Product Specialists Ltd開發執行。您可以繼續閱讀下方資訊,以深入瞭解SearchScore bot基本資訊,使用者代理和訪問控制等。
ModernizeBot
ModernizeBot蜘蛛/爬蟲屬於工具型別,由ModernizeYourWebsite.com開發執行。您可以繼續閱讀下方資訊,以深入瞭解ModernizeBot基本資訊,使用者代理和訪問控制等。
SEODiffBot
SEODiffBot蜘蛛/爬蟲屬於工具型別,由SEODiff開發執行。您可以繼續閱讀下方資訊,以深入瞭解SEODiffBot基本資訊,使用者代理和訪問控制等。
Misskey bot
Misskey bot蜘蛛/爬蟲屬於工具型別,由Misskey Project開發執行。您可以繼續閱讀下方資訊,以深入瞭解Misskey bot基本資訊,使用者代理和訪問控制等。
Validbot
Validbot蜘蛛/爬蟲屬於工具型別,由Jake Olefsky開發執行。您可以繼續閱讀下方資訊,以深入瞭解Validbot基本資訊,使用者代理和訪問控制等。
Google-BusinessLinkVerification
Google-BusinessLinkVerification蜘蛛/爬蟲屬於工具型別,由Google Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Google-BusinessLinkVerification基本資訊,使用者代理和訪問控制等。
StatusNest
StatusNest蜘蛛/爬蟲屬於工具型別,由StatusNest開發執行。您可以繼續閱讀下方資訊,以深入瞭解StatusNest基本資訊,使用者代理和訪問控制等。
Observatory
Observatory蜘蛛/爬蟲屬於工具型別,由Mozilla Foundation開發執行。您可以繼續閱讀下方資訊,以深入瞭解Observatory基本資訊,使用者代理和訪問控制等。

相關文章

Related Articles