TextRazor crawler

TextRazor crawler蜘蛛/爬蟲屬於工具型別,由TextRazor Ltd.開發執行。您可以繼續閱讀下方資訊,以深入瞭解TextRazor crawler基本資訊,使用者代理和訪問控制等。

基本資訊

TextRazor crawler的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲,可能存在資訊不明的情況。
蜘蛛/爬蟲名稱
TextRazor crawler
型別
工具
開發商
TextRazor Ltd.
當前狀態
活動

使用者代理

關於TextRazor crawler蜘蛛或者爬蟲的使用者代理字串,IP地址和伺服器,所在地等資訊如下表格所示:
TextRazor Downloader
使用者代理字串
TextRazor Downloader (https://www.textrazor.com)
首次出現
2019-04-24 07:41:27
最後出現
2025-01-08 17:26:52
遵循robots.txt
來源
IP地址(191) 伺服器名稱 所屬國家
174.138.60.61 nyc3.squid.digitalocean.19 ?
165.227.76.204 nyc3.squid.digitalocean.19 US
159.203.77.41 nyc3.squid.digitalocean.109 US
157.245.15.63 nyc3.squid.digitalocean.89 US
167.172.236.188 nyc3.squid.digitalocean.58 US

訪問控制

瞭解如何控制TextRazor crawler訪問許可權,避免TextRazor crawler抓取行為不當。

是否攔截TextRazor crawler?

可能不需要。工具型別爬蟲通常為網站所有者使用此類工具對網站進行相關服務請求才會出現。當然,實際情況需站長判斷後再作決定。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 TextRazor crawler 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: TextRazor crawler
Disallow: /

您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

更多資訊

TextRazor總部位於英國倫敦,是一家提供軟體的初創公司,幫助開發人員迅速將文字分析納入其應用程式。他們的工具提供最先進的開箱即用的效能,同時提供定製選項,以幫助優化任何用例。

TextRazor的API正在快速增長,目前每天處理來自一系列垂直領域的數百個應用程式的數百萬個請求。主要用例包括社交媒體監測、企業搜尋、推薦系統和廣告定位。

該公司成立於2011年,自2013年以來,在沒有機構投資的情況下,一直在盈利運營。

TextRazor的高效能機器學習堆疊從頭開始設計,在不同的寫作風格中實現了準確性、速度和穩健性。

在幾分鐘內整合

TextRazor的API可以很容易地與任何可以傳送HTTP請求和解析JSON響應的語言整合,只需幾行程式碼就可以進行強大的文字分析。TextRazor允許你在一個請求中提取任何和所有你需要的資訊,將提取的語義後設資料連線起來,使識別複雜模式變得容易。

不折不扣的延遲、吞吐量和大可擴充套件性

只有當你的軟體能夠跟上它的步伐時,大資料才是有用的。TextRazor從一開始就為效能而設計。TextRazor是用高度優化的C++編寫的,每個核心每秒能夠處理數千字。我們的分散式後端每天為數以百計的客戶處理數千萬的檔案。

TextRazor的彈性基礎設施是建立在亞馬遜網路服務雲和物理硬體上。TextRazor是為高可用性和效能一致性而設計的,用於分析每天數千、數百萬或數十億的文件。

每日更新

語言總是在變化–我們的模型每天都有新的實體更新,所以你永遠不會錯過任何重要的東西。我們每個月還會從頭開始完全重建我們的模型,以適應語言使用方面的較大變化。

無限的定製

TextRazor允許你新增產品名稱、人物、公司、自定義分類規則和高階語言學模式。我們的整合Prolog引擎讓你迅速將TextRazor的結果與強大的自定義領域特定邏輯相結合。

你可以在這裡閱讀更多關於TextRazor的規則引擎。

% Match two companies in a 'buy' relation.
acquisition_rumor(CompanyA, CompanyB, EntailedWord) :-
    entity_type(CompanyA, 'Company'),
    entity_type(CompanyB, 'Company'),
    relation_overlap(BuyRelation, 'SUBJECT', CompanyA, 'OBJECT', CompanyB),
    entailment_overlap(_, BuyRelation, EntailedWord),
    member(EntailedWord, ['buy', 'sell', 'acquire']).

常見蜘蛛/爬蟲

Common Spiders
SearchScore bot
SearchScore bot蜘蛛/爬蟲屬於工具型別,由Product Specialists Ltd開發執行。您可以繼續閱讀下方資訊,以深入瞭解SearchScore bot基本資訊,使用者代理和訪問控制等。
ModernizeBot
ModernizeBot蜘蛛/爬蟲屬於工具型別,由ModernizeYourWebsite.com開發執行。您可以繼續閱讀下方資訊,以深入瞭解ModernizeBot基本資訊,使用者代理和訪問控制等。
SEODiffBot
SEODiffBot蜘蛛/爬蟲屬於工具型別,由SEODiff開發執行。您可以繼續閱讀下方資訊,以深入瞭解SEODiffBot基本資訊,使用者代理和訪問控制等。
Misskey bot
Misskey bot蜘蛛/爬蟲屬於工具型別,由Misskey Project開發執行。您可以繼續閱讀下方資訊,以深入瞭解Misskey bot基本資訊,使用者代理和訪問控制等。
Validbot
Validbot蜘蛛/爬蟲屬於工具型別,由Jake Olefsky開發執行。您可以繼續閱讀下方資訊,以深入瞭解Validbot基本資訊,使用者代理和訪問控制等。
Google-BusinessLinkVerification
Google-BusinessLinkVerification蜘蛛/爬蟲屬於工具型別,由Google Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Google-BusinessLinkVerification基本資訊,使用者代理和訪問控制等。
StatusNest
StatusNest蜘蛛/爬蟲屬於工具型別,由StatusNest開發執行。您可以繼續閱讀下方資訊,以深入瞭解StatusNest基本資訊,使用者代理和訪問控制等。
Observatory
Observatory蜘蛛/爬蟲屬於工具型別,由Mozilla Foundation開發執行。您可以繼續閱讀下方資訊,以深入瞭解Observatory基本資訊,使用者代理和訪問控制等。

相關文章

Related Articles