archive.org_bot
archive.org_bot蜘蛛/爬蟲屬於工具型別，由Internet Archive開發執行。您可以繼續閱讀下方資訊，以深入瞭解archive.org_bot基本資訊，使用者代理和訪問控制等。
基本資訊
archive.org_bot的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲，可能存在資訊不明的情況。
- 蜘蛛/爬蟲名稱
- archive.org_bot
- 型別
- 工具
- 開發商
-
Internet Archive
- 當前狀態
-
活動
使用者代理
關於archive.org_bot蜘蛛或者爬蟲的使用者代理字串，IP地址和伺服器，所在地等資訊如下表格所示：
NL-Israel_IAHarvester2024/3.3.0
-
NL-Israel_IAHarvester2024/3.3.0
-
heritrix/3.3.0
-
archive.org_bot
-
archive.org_bot
-
special_archiver
-
special_archiver/3.3.0
-
special_archiver/3.1.1
-
special_archiver/3.1.1
-
archive.org_bot
-
Wayback Machine Live Record
-
Wayback Machine Live Record
-
archive.org_bot/3.3.0
-
heritrix/3.1.1
-
archive.org_bot
-
archive.org_bot
- 使用者代理字串
- Mozilla/5.0 (compatible; NL-Israel_IAHarvester2024/3.3.0; +http://https://archive.org/details/archive.org_bot)
- 首次出現
- 2024-02-09 14:47:50
- 最後出現
- 2024-02-14 10:24:49
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(2) |
伺服器名稱 |
所屬國家 |
| 207.241.235.85 |
wbgrp-crawl047.us.archive.org |
US |
| 207.241.234.202 |
wbgrp-crawl044.us.archive.org |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; heritrix/3.3.0-SNAPSHOT-20140702-2247 +http://archive.org/details/archive.org_bot)
- 首次出現
- 2016-07-09 07:46:39
- 最後出現
- 2023-10-25 16:58:29
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(15) |
伺服器名稱 |
所屬國家 |
| 207.241.234.164 |
iw902707.archive.org |
US |
| 207.241.230.235 |
iw800709.archive.org |
US |
| 207.241.229.70 |
iw802605.archive.org |
US |
| 207.241.233.181 |
iw902904.archive.org |
US |
| 207.241.229.74 |
iw802506.archive.org |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; archive.org_bot; Archive-It; +http://archive-it.org/files/site-owners.html)
- 首次出現
- 2016-06-24 16:25:53
- 最後出現
- 2022-05-25 20:12:33
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(10) |
伺服器名稱 |
所屬國家 |
| 207.241.232.221 |
wbgrp-crawl220.us.archive.org |
US |
| 207.241.232.173 |
wbgrp-crawl234.us.archive.org |
US |
| 207.241.231.104 |
wbgrp-svc210.us.archive.org |
US |
| 207.241.231.52 |
wbgrp-crawl214.us.archive.org |
US |
| 207.241.234.99 |
wbgrp-svc249.us.archive.org |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; archive.org_bot +http://www.archive.org/details/archive.org_bot)
- 首次出現
- 2010-12-30 16:35:46
- 最後出現
- 2022-04-11 17:19:46
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(10) |
伺服器名稱 |
所屬國家 |
| 3.145.67.195 |
ec2-3-145-67-195.us-east-2.compute.amazonaws.com |
US |
| 113.96.250.18 |
113.96.250.18 |
CN |
| 207.241.229.50 |
crawl812.us.archive.org |
US |
| 207.241.231.143 |
crawl428.us.archive.org |
US |
| 207.241.229.148 |
crawl802.us.archive.org |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; special_archiver; Archive-It; +http://archive-it.org/files/site-owners-special.html)
- 首次出現
- 2018-05-05 21:56:46
- 最後出現
- 2021-11-27 08:37:49
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(10) |
伺服器名稱 |
所屬國家 |
| 207.241.229.109 |
wbgrp-crawl011.us.archive.org |
US |
| 207.241.234.246 |
wbgrp-crawl036.us.archive.org |
US |
| 207.241.231.194 |
wbgrp-crawl019.us.archive.org |
US |
| 207.241.232.216 |
wbgrp-crawl225.us.archive.org |
US |
| 207.241.231.196 |
wbgrp-crawl021.us.archive.org |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; special_archiver/3.3.0 bot@archive.org +https://archive.org/details/archive.org_bot)
- 首次出現
- 2016-11-23 11:48:52
- 最後出現
- 2019-08-11 10:52:41
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(2) |
伺服器名稱 |
所屬國家 |
| 207.241.231.81 |
wbgrp-svc281.us.archive.org |
US |
| 207.241.226.41 |
wbgrp-crawl005.us.archive.org |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; special_archiver/3.1.1 http://www.archive.org/details/archive.org_bot)
- 首次出現
- 2018-04-11 14:52:31
- 最後出現
- 2019-06-03 23:18:59
- 遵循robots.txt
- 否
- 來源
-
| IP地址(25) |
伺服器名稱 |
所屬國家 |
| 207.241.231.147 |
crawl424.us.archive.org |
US |
| 207.241.231.143 |
crawl428.us.archive.org |
US |
| 207.241.231.148 |
crawl423.us.archive.org |
US |
| 207.241.229.225 |
crawl891.us.archive.org |
US |
| 207.241.234.64 |
crawl505.us.archive.org |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; special_archiver/3.1.1 http://www.archive.org/details/archive.org_bot)
- 首次出現
- 2018-04-11 14:52:31
- 最後出現
- 2019-06-03 23:18:59
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(10) |
伺服器名稱 |
所屬國家 |
| 207.241.229.48 |
crawl814.us.archive.org |
US |
| 207.241.231.144 |
crawl427.us.archive.org |
US |
| 207.241.229.149 |
crawl801.us.archive.org |
US |
| 207.241.231.148 |
crawl423.us.archive.org |
US |
| 207.241.233.160 |
crawl805.us.archive.org |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; archive.org_bot http://www.archive.org/details/archive.org_bot)
- 首次出現
- 2018-04-20 13:04:06
- 最後出現
- 2019-05-22 14:14:23
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(10) |
伺服器名稱 |
所屬國家 |
| 207.241.231.170 |
crawl825.us.archive.org |
US |
| 207.241.231.144 |
crawl427.us.archive.org |
US |
| 207.241.231.148 |
crawl423.us.archive.org |
US |
| 207.241.229.149 |
crawl801.us.archive.org |
US |
| 207.241.229.150 |
crawl809.us.archive.org |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; archive.org_bot; Wayback Machine Live Record; http://archive.org/details/archive.org_bot)
- 首次出現
- 2016-06-14 23:11:42
- 最後出現
- 2019-02-24 01:39:52
- 遵循robots.txt
- 否
- 來源
-
| IP地址(24) |
伺服器名稱 |
所屬國家 |
| 179.43.155.171 |
179.43.155.171 |
CH |
| 5.183.92.86 |
5.183.92.86 |
DE |
| 51.158.111.157 |
157-111-158-51.rev.cloud.scaleway.com |
FR |
| 207.241.226.230 |
wwwb-app14.us.archive.org |
US |
| 207.241.225.227 |
wwwb-app1.us.archive.org |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; archive.org_bot; Wayback Machine Live Record; http://archive.org/details/archive.org_bot)
- 首次出現
- 2016-06-14 23:11:42
- 最後出現
- 2019-02-24 01:39:52
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(7) |
伺服器名稱 |
所屬國家 |
| 207.241.225.246 |
wwwb-app4.us.archive.org |
US |
| 207.241.225.236 |
wwwb-app6.us.archive.org |
US |
| 207.241.225.226 |
wwwb-app0.us.archive.org |
US |
| 207.241.232.121 |
wwwb-app52.us.archive.org |
US |
| 207.241.227.105 |
wwwb-app54.us.archive.org |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; archive.org_bot/3.3.0 +http://www.archive.org/details/archive.org_bot)
- 首次出現
- 2015-09-23 21:15:00
- 最後出現
- 2015-09-24 08:11:30
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 207.241.226.37 |
wbgrp-crawl009.us.archive.org |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; heritrix/3.1.1-SNAPSHOT-20120116.200628 +http://www.archive.org/details/archive.org_bot)
- 首次出現
- 2012-03-25 19:13:00
- 最後出現
- 2012-09-13 22:02:30
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 207.241.237.214 |
crawl435.us.archive.org |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; archive.org_bot/heritrix-1.15.4 +http://www.archive.org)
- 首次出現
- 2010-06-11 23:06:12
- 最後出現
- 2010-07-06 08:30:52
- 遵循robots.txt
- 否
- 來源
-
| IP地址(77) |
伺服器名稱 |
所屬國家 |
| 207.241.229.224 |
crawl892.us.archive.org |
US |
| 207.241.231.188 |
crawl895.us.archive.org |
US |
| 207.241.233.139 |
crawl865.us.archive.org |
US |
| 207.241.233.159 |
crawl806.us.archive.org |
US |
| 207.241.229.33 |
crawl835.us.archive.org |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; archive.org_bot/heritrix-1.15.4 +http://www.archive.org)
- 首次出現
- 2010-06-11 23:06:12
- 最後出現
- 2010-07-06 08:30:52
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 207.241.228.179 |
ia360937.us.archive.org |
US |
訪問控制
瞭解如何控制archive.org_bot訪問許可權，避免archive.org_bot抓取行為不當。
是否攔截archive.org_bot？
可能不需要。工具型別爬蟲通常為網站所有者使用此類工具對網站進行相關服務請求才會出現。當然，實際情況需站長判斷後再作決定。
通過Robots.txt攔截
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 archive.org_bot 或限制其訪問許可權。我們建議安裝 Spider Analyser
外掛，以檢查它是否真正遵循這些規則。
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: archive.org_bot
Disallow: /
您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
更多資訊
網際網路檔案館（The Internet Archive）是一個非營利性的數字圖書館，它儲存網路資料，並通過Wayback Machine使其可用於研究目的。我們從1996年開始對網路進行存檔，目前已儲存了超過1500億份網路檔案。
網際網路檔案館與大學、圖書館和其他機構合作，保護世界文化遺產。除了我們的網路儲存活動，我們還提供免費訪問超過200萬本數字書籍，超過60萬個音訊專案，以及超過30萬個視訊專案。請訪問我們的新聞和公告論壇，閱讀更多關於我們的專案。
Webmasters：使用者代理archive.org_bot用於archive.org對網路的廣泛抓取。archive.org嘗試以足夠慢的速度抓取，以免干擾正常的網路活動。你可以在Wayback Machine常見問題中瞭解更多。如果你發現archive.org_bot的行為有問題，請通過以下方式聯絡archive.org
bot@archive.org
archive.org認為，為後代儲存網路資料是當務之急。與印刷媒體不同，網頁可能而且確實會消失在空氣中。
