TextRazor crawler
基本資訊
使用者代理
- TextRazor Downloader
- 使用者代理字串
- TextRazor Downloader (https://www.textrazor.com)
- 首次出現
- 2019-04-24 07:41:27
- 最後出現
- 2025-01-08 17:26:52
- 遵循robots.txt
- 否
- 來源
-
IP地址(191) 伺服器名稱 所屬國家 174.138.60.61 nyc3.squid.digitalocean.19 ? 165.227.76.204 nyc3.squid.digitalocean.19 US 159.203.77.41 nyc3.squid.digitalocean.109 US 157.245.15.63 nyc3.squid.digitalocean.89 US 167.172.236.188 nyc3.squid.digitalocean.58 US
訪問控制
是否攔截TextRazor crawler?
可能不需要。工具型別爬蟲通常為網站所有者使用此類工具對網站進行相關服務請求才會出現。當然,實際情況需站長判斷後再作決定。
通過Robots.txt攔截
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 TextRazor crawler 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: TextRazor crawler Disallow: /
您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
更多資訊
TextRazor總部位於英國倫敦,是一家提供軟體的初創公司,幫助開發人員迅速將文字分析納入其應用程式。他們的工具提供最先進的開箱即用的效能,同時提供定製選項,以幫助優化任何用例。
TextRazor的API正在快速增長,目前每天處理來自一系列垂直領域的數百個應用程式的數百萬個請求。主要用例包括社交媒體監測、企業搜尋、推薦系統和廣告定位。
該公司成立於2011年,自2013年以來,在沒有機構投資的情況下,一直在盈利運營。
TextRazor的高效能機器學習堆疊從頭開始設計,在不同的寫作風格中實現了準確性、速度和穩健性。
在幾分鐘內整合
TextRazor的API可以很容易地與任何可以傳送HTTP請求和解析JSON響應的語言整合,只需幾行程式碼就可以進行強大的文字分析。TextRazor允許你在一個請求中提取任何和所有你需要的資訊,將提取的語義後設資料連線起來,使識別複雜模式變得容易。
不折不扣的延遲、吞吐量和大可擴充套件性
只有當你的軟體能夠跟上它的步伐時,大資料才是有用的。TextRazor從一開始就為效能而設計。TextRazor是用高度優化的C++編寫的,每個核心每秒能夠處理數千字。我們的分散式後端每天為數以百計的客戶處理數千萬的檔案。
TextRazor的彈性基礎設施是建立在亞馬遜網路服務雲和物理硬體上。TextRazor是為高可用性和效能一致性而設計的,用於分析每天數千、數百萬或數十億的文件。
每日更新
語言總是在變化–我們的模型每天都有新的實體更新,所以你永遠不會錯過任何重要的東西。我們每個月還會從頭開始完全重建我們的模型,以適應語言使用方面的較大變化。
無限的定製
TextRazor允許你新增產品名稱、人物、公司、自定義分類規則和高階語言學模式。我們的整合Prolog引擎讓你迅速將TextRazor的結果與強大的自定義領域特定邏輯相結合。
你可以在這裡閱讀更多關於TextRazor的規則引擎。
% Match two companies in a 'buy' relation.
acquisition_rumor(CompanyA, CompanyB, EntailedWord) :-
entity_type(CompanyA, 'Company'),
entity_type(CompanyB, 'Company'),
relation_overlap(BuyRelation, 'SUBJECT', CompanyA, 'OBJECT', CompanyB),
entailment_overlap(_, BuyRelation, EntailedWord),
member(EntailedWord, ['buy', 'sell', 'acquire']).
站長工具
常見蜘蛛/爬蟲
Common Spiders
