MetaInspector

MetaInspector蜘蛛/爬蟲屬於爬蟲型別,由Jaime Iniesta開發執行。您可以繼續閱讀下方資訊,以深入瞭解MetaInspector基本資訊,使用者代理和訪問控制等。

基本資訊

MetaInspector的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲,可能存在資訊不明的情況。
蜘蛛/爬蟲名稱
MetaInspector
型別
爬蟲
開發商
Jaime Iniesta
當前狀態
活動

使用者代理

關於MetaInspector蜘蛛或者爬蟲的使用者代理字串,IP地址和伺服器,所在地等資訊如下表格所示:
MetaInspector/5.6.0
使用者代理字串
MetaInspector/5.6.0 (+https://github.com/jaimeiniesta/metainspector)
首次出現
2019-09-06 07:46:27
最後出現
2024-04-04 14:00:10
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
35.229.127.21 21.127.229.35.bc.googleusercontent.com US
34.138.222.22 22.222.138.34.bc.googleusercontent.com US
34.74.167.3 3.167.74.34.bc.googleusercontent.com US
35.243.230.243 243.230.243.35.bc.googleusercontent.com US
34.138.135.12 12.135.138.34.bc.googleusercontent.com US
使用者代理字串
MetaInspector/5.9.0 (+https://github.com/jaimeiniesta/metainspector)
首次出現
2020-08-14 12:45:22
最後出現
2021-01-30 10:58:36
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
34.74.68.106 106.68.74.34.bc.googleusercontent.com US
35.243.164.122 122.164.243.35.bc.googleusercontent.com US
35.229.37.109 109.37.229.35.bc.googleusercontent.com US
35.237.211.204 204.211.237.35.bc.googleusercontent.com US
34.73.184.255 255.184.73.34.bc.googleusercontent.com US
使用者代理字串
MetaInspector/5.10.1 (+https://github.com/jaimeiniesta/metainspector)
首次出現
2020-11-28 13:29:21
最後出現
2020-11-28 14:29:15
遵循robots.txt
來源
IP地址(1) 伺服器名稱 所屬國家
5.61.56.8 ? DE
使用者代理字串
MetaInspector/5.10.0 (+https://github.com/jaimeiniesta/metainspector)
首次出現
2020-05-12 11:35:05
最後出現
2020-05-12 11:35:05
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
3.112.18.57 ec2-3-112-18-57.ap-northeast-1.compute.amazonaws.com JP
使用者代理字串
MetaInspector/5.8.0 (+https://github.com/jaimeiniesta/metainspector)
首次出現
2020-01-10 05:38:11
最後出現
2020-01-10 10:04:55
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
107.185.206.57 cpe-107-185-206-57.socal.res.rr.com US
使用者代理字串
MetaInspector/5.5.0 (+https://github.com/jaimeiniesta/metainspector)
首次出現
2019-11-12 15:05:24
最後出現
2019-11-12 16:05:24
遵循robots.txt
來源
IP地址(1) 伺服器名稱 所屬國家
3.93.236.212 ec2-3-93-236-212.compute-1.amazonaws.com US
使用者代理字串
MetaInspector/5.1.3 (+https://github.com/jaimeiniesta/metainspector)
首次出現
2016-12-23 05:29:45
最後出現
2016-12-23 05:29:45
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
54.84.220.226 ec2-54-84-220-226.compute-1.amazonaws.com US
使用者代理字串
MetaInspector/5.3.1 (+https://github.com/jaimeiniesta/metainspector)
首次出現
2016-10-30 14:34:31
最後出現
2016-10-30 14:34:31
遵循robots.txt
未知
來源
IP地址(3) 伺服器名稱 所屬國家
52.207.86.109 ec2-52-207-86-109.compute-1.amazonaws.com US
52.45.250.251 ec2-52-45-250-251.compute-1.amazonaws.com US
54.152.245.220 mail.vlo.io US
使用者代理字串
MetaInspector/5.3.0 (+https://github.com/jaimeiniesta/metainspector)
首次出現
2016-10-05 01:32:24
最後出現
2016-10-05 01:32:24
遵循robots.txt
未知
來源
IP地址(2) 伺服器名稱 所屬國家
54.152.245.220 mail.vlo.io US
52.203.80.174 ec2-52-203-80-174.compute-1.amazonaws.com US
使用者代理字串
MetaInspector/5.2.1 (+https://github.com/jaimeiniesta/metainspector)
首次出現
2016-08-14 02:19:05
最後出現
2016-08-31 21:00:24
遵循robots.txt
未知
來源
IP地址(2) 伺服器名稱 所屬國家
52.206.192.150 ec2-52-206-192-150.compute-1.amazonaws.com US
52.73.170.220 box.velo.cloud US
使用者代理字串
MetaInspector/5.0.1 (+https://github.com/jaimeiniesta/metainspector)
首次出現
2016-01-10 21:03:02
最後出現
2016-01-10 21:03:02
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
54.195.165.168 ec2-54-195-165-168.eu-west-1.compute.amazonaws.com IE
使用者代理字串
MetaInspector/4.7.2 (+https://github.com/jaimeiniesta/metainspector)
首次出現
2015-12-11 08:08:49
最後出現
2015-12-06 02:11:45
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
45.55.254.2 45.55.254.2 US
使用者代理字串
MetaInspector/2.2.1 (+https://github.com/jaimeiniesta/metainspector)
首次出現
2014-06-22 09:05:32
最後出現
2014-06-22 09:05:33
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
54.198.52.168 ec2-54-198-52-168.compute-1.amazonaws.com US

訪問控制

瞭解如何控制MetaInspector訪問許可權,避免MetaInspector抓取行為不當。

是否攔截MetaInspector?

可以考慮攔截。。爬蟲通常會下載公開的網際網路內容,這些內容預設情況下可以免費訪問。不過,如果你不希望你的內容被用於未經授權的目的,你應該攔截它們。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 MetaInspector 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: MetaInspector
Disallow: /

您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

常見蜘蛛/爬蟲

Common Spiders
Seamus
Seamus蜘蛛/爬蟲屬於爬蟲型別,由Unknown Author開發執行。您可以繼續閱讀下方資訊,以深入瞭解Seamus基本資訊,使用者代理和訪問控制等。
SupaGuard
SupaGuard蜘蛛/爬蟲屬於爬蟲型別,由Unknown Author開發執行。您可以繼續閱讀下方資訊,以深入瞭解SupaGuard基本資訊,使用者代理和訪問控制等。
employer-address-finder
employer-address-finder蜘蛛/爬蟲屬於爬蟲型別,由Unknown Author開發執行。您可以繼續閱讀下方資訊,以深入瞭解employer-address-finder基本資訊,使用者代理和訪問控制等。
SocialMediaScrapperv2
SocialMediaScrapperv2蜘蛛/爬蟲屬於爬蟲型別,由Unknown Author開發執行。您可以繼續閱讀下方資訊,以深入瞭解SocialMediaScrapperv2基本資訊,使用者代理和訪問控制等。
DomainCrawler
DomainCrawler蜘蛛/爬蟲屬於爬蟲型別,由Unknown Author開發執行。您可以繼續閱讀下方資訊,以深入瞭解DomainCrawler基本資訊,使用者代理和訪問控制等。
ComplianceChecker
ComplianceChecker蜘蛛/爬蟲屬於爬蟲型別,由Unknown Author開發執行。您可以繼續閱讀下方資訊,以深入瞭解ComplianceChecker基本資訊,使用者代理和訪問控制等。
BusinessNameBot
BusinessNameBot蜘蛛/爬蟲屬於爬蟲型別,由Unknown Author開發執行。您可以繼續閱讀下方資訊,以深入瞭解BusinessNameBot基本資訊,使用者代理和訪問控制等。
BitFire-IconUpscaler
BitFire-IconUpscaler蜘蛛/爬蟲屬於爬蟲型別,由Unknown Author開發執行。您可以繼續閱讀下方資訊,以深入瞭解BitFire-IconUpscaler基本資訊,使用者代理和訪問控制等。

相關文章

Related Articles