MetaInspector

MetaInspector蜘蛛/爬蟲屬於爬蟲型別,由Jaime Iniesta開發執行。您可以繼續閱讀下方資訊,以深入瞭解MetaInspector基本資訊,使用者代理和訪問控制等。

基本資訊

MetaInspector的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲,可能存在資訊不明的情況。
蜘蛛/爬蟲名稱
MetaInspector
型別
爬蟲
開發商
Jaime Iniesta
當前狀態
活動

使用者代理

關於MetaInspector蜘蛛或者爬蟲的使用者代理字串,IP地址和伺服器,所在地等資訊如下表格所示:
MetaInspector/5.6.0
使用者代理字串
MetaInspector/5.6.0 (+https://github.com/jaimeiniesta/metainspector)
首次出現
2019-09-06 07:46:27
最後出現
2024-04-04 14:00:10
遵循robots.txt
未知
來源
IP地址(27) 伺服器名稱 所屬國家
35.229.127.21 21.127.229.35.bc.googleusercontent.com US
34.138.222.22 22.222.138.34.bc.googleusercontent.com US
34.74.167.3 3.167.74.34.bc.googleusercontent.com US
35.243.230.243 243.230.243.35.bc.googleusercontent.com US
34.138.135.12 12.135.138.34.bc.googleusercontent.com US
35.237.196.43 43.196.237.35.bc.googleusercontent.com US
35.196.32.239 239.32.196.35.bc.googleusercontent.com US
34.138.179.193 193.179.138.34.bc.googleusercontent.com US
35.231.188.254 254.188.231.35.bc.googleusercontent.com US
34.139.140.193 193.140.139.34.bc.googleusercontent.com US
使用者代理字串
MetaInspector/5.9.0 (+https://github.com/jaimeiniesta/metainspector)
首次出現
2020-08-14 12:45:22
最後出現
2021-01-30 10:58:36
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
34.74.68.106 106.68.74.34.bc.googleusercontent.com US
35.243.164.122 122.164.243.35.bc.googleusercontent.com US
35.229.37.109 109.37.229.35.bc.googleusercontent.com US
35.237.211.204 204.211.237.35.bc.googleusercontent.com US
34.73.184.255 255.184.73.34.bc.googleusercontent.com US
34.73.167.28 28.167.73.34.bc.googleusercontent.com US
34.75.215.75 75.215.75.34.bc.googleusercontent.com US
35.229.25.224 224.25.229.35.bc.googleusercontent.com US
35.227.93.46 46.93.227.35.bc.googleusercontent.com US
35.243.229.230 230.229.243.35.bc.googleusercontent.com US
使用者代理字串
MetaInspector/5.10.1 (+https://github.com/jaimeiniesta/metainspector)
首次出現
2020-11-28 13:29:21
最後出現
2020-11-28 14:29:15
遵循robots.txt
來源
IP地址(1) 伺服器名稱 所屬國家
5.61.56.8 ? DE
使用者代理字串
MetaInspector/5.10.0 (+https://github.com/jaimeiniesta/metainspector)
首次出現
2020-05-12 11:35:05
最後出現
2020-05-12 11:35:05
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
3.112.18.57 ec2-3-112-18-57.ap-northeast-1.compute.amazonaws.com JP
使用者代理字串
MetaInspector/5.8.0 (+https://github.com/jaimeiniesta/metainspector)
首次出現
2020-01-10 05:38:11
最後出現
2020-01-10 10:04:55
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
107.185.206.57 cpe-107-185-206-57.socal.res.rr.com US
使用者代理字串
MetaInspector/5.5.0 (+https://github.com/jaimeiniesta/metainspector)
首次出現
2019-11-12 15:05:24
最後出現
2019-11-12 16:05:24
遵循robots.txt
來源
IP地址(1) 伺服器名稱 所屬國家
3.93.236.212 ec2-3-93-236-212.compute-1.amazonaws.com US
使用者代理字串
MetaInspector/5.1.3 (+https://github.com/jaimeiniesta/metainspector)
首次出現
2016-12-23 05:29:45
最後出現
2016-12-23 05:29:45
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
54.84.220.226 ec2-54-84-220-226.compute-1.amazonaws.com US
使用者代理字串
MetaInspector/5.3.1 (+https://github.com/jaimeiniesta/metainspector)
首次出現
2016-10-30 14:34:31
最後出現
2016-10-30 14:34:31
遵循robots.txt
未知
來源
IP地址(3) 伺服器名稱 所屬國家
52.207.86.109 ec2-52-207-86-109.compute-1.amazonaws.com US
52.45.250.251 ec2-52-45-250-251.compute-1.amazonaws.com US
54.152.245.220 mail.vlo.io US
使用者代理字串
MetaInspector/5.3.0 (+https://github.com/jaimeiniesta/metainspector)
首次出現
2016-10-05 01:32:24
最後出現
2016-10-05 01:32:24
遵循robots.txt
未知
來源
IP地址(2) 伺服器名稱 所屬國家
54.152.245.220 mail.vlo.io US
52.203.80.174 ec2-52-203-80-174.compute-1.amazonaws.com US
使用者代理字串
MetaInspector/5.2.1 (+https://github.com/jaimeiniesta/metainspector)
首次出現
2016-08-14 02:19:05
最後出現
2016-08-31 21:00:24
遵循robots.txt
未知
來源
IP地址(2) 伺服器名稱 所屬國家
52.206.192.150 ec2-52-206-192-150.compute-1.amazonaws.com US
52.73.170.220 box.velo.cloud US
使用者代理字串
MetaInspector/5.0.1 (+https://github.com/jaimeiniesta/metainspector)
首次出現
2016-01-10 21:03:02
最後出現
2016-01-10 21:03:02
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
54.195.165.168 ec2-54-195-165-168.eu-west-1.compute.amazonaws.com IE
使用者代理字串
MetaInspector/4.7.2 (+https://github.com/jaimeiniesta/metainspector)
首次出現
2015-12-11 08:08:49
最後出現
2015-12-06 02:11:45
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
45.55.254.2 45.55.254.2 US
使用者代理字串
MetaInspector/2.2.1 (+https://github.com/jaimeiniesta/metainspector)
首次出現
2014-06-22 09:05:32
最後出現
2014-06-22 09:05:33
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
54.198.52.168 ec2-54-198-52-168.compute-1.amazonaws.com US

訪問控制

瞭解如何控制MetaInspector訪問許可權,避免MetaInspector抓取行為不當。

是否攔截MetaInspector?

可以考慮攔截。。爬蟲通常會下載公開的網際網路內容,這些內容預設情況下可以免費訪問。不過,如果你不希望你的內容被用於未經授權的目的,你應該攔截它們。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 MetaInspector 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: MetaInspector
Disallow: /
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: MetaInspector Disallow: /
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: MetaInspector
Disallow: /

您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

常見蜘蛛/爬蟲

Common Spiders
Crawler-IP-Fetcher
Crawler-IP-Fetcher蜘蛛/爬蟲屬於爬蟲型別,由Unknown Author開發執行。您可以繼續閱讀下方資訊,以深入瞭解Crawler-IP-Fetcher基本資訊,使用者代理和訪問控制等。
DARPResearchBot
DARPResearchBot蜘蛛/爬蟲屬於爬蟲型別,由Unknown Author開發執行。您可以繼續閱讀下方資訊,以深入瞭解DARPResearchBot基本資訊,使用者代理和訪問控制等。
xfa1
xfa1蜘蛛/爬蟲屬於爬蟲型別,由Unknown Author開發執行。您可以繼續閱讀下方資訊,以深入瞭解xfa1基本資訊,使用者代理和訪問控制等。
MassScanner
MassScanner蜘蛛/爬蟲屬於爬蟲型別,由Unknown Author開發執行。您可以繼續閱讀下方資訊,以深入瞭解MassScanner基本資訊,使用者代理和訪問控制等。
robots-bulk-crawler
robots-bulk-crawler蜘蛛/爬蟲屬於爬蟲型別,由Unknown Author開發執行。您可以繼續閱讀下方資訊,以深入瞭解robots-bulk-crawler基本資訊,使用者代理和訪問控制等。
studyBot
studyBot蜘蛛/爬蟲屬於爬蟲型別,由Unknown Author開發執行。您可以繼續閱讀下方資訊,以深入瞭解studyBot基本資訊,使用者代理和訪問控制等。
AASA-Bot
AASA-Bot蜘蛛/爬蟲屬於爬蟲型別,由Unknown Author開發執行。您可以繼續閱讀下方資訊,以深入瞭解AASA-Bot基本資訊,使用者代理和訪問控制等。
Tranco Crawler
Tranco Crawler蜘蛛/爬蟲屬於爬蟲型別,由Unknown Author開發執行。您可以繼續閱讀下方資訊,以深入瞭解Tranco Crawler基本資訊,使用者代理和訪問控制等。

相關文章

Related Articles