如何使用Mistral OCR作为您的下一个RAG模型

检索增强生成 (RAG) 系统已成为人工智能模型不可或缺的一部分，使其能够访问海量相关数据并提供更智能、更具上下文感知能力的响应。然而，RAG 系统的功能主要局限于数字文本，忽略了扫描文档、图像和手写笔记等多模态格式中的宝贵信息。Mistral OCR 通过将复杂文档无缝集成到智能检索系统中，突破了这一局限，扩展了可用知识的范围。这一进步增强了人工智能交互，使信息更易于获取、更全面，并适用于各种实际场景。本文将探讨 Mistral OCR 的特性和应用，并分析其对 RAG 系统的影响。

了解RAG及其局限性

RAG 模型通过检索相关文档并利用这些文档生成响应来运行。虽然它们在处理大型文本库方面表现出色，但在处理非文本数据时却力不从心。原因如下：

• 无法解读图像、公式和表格：许多关键文档包含表格和公式形式的结构化数据，而传统的 RAG 模型无法理解这些数据。
• OCR 提取文本的上下文丢失：即使从扫描文档中提取文本，如果忽略其结构和布局，其含义也常常会失真。
• 处理多模态内容的挑战：大多数传统 RAG 系统无法以有意义的方式组合视觉和文本元素。
• 跨行业适用性有限：研究、法律和金融等行业依赖于复杂的文档，这些文档需要的不仅仅是基于文本的理解。

如果没有一种有效的方法来从各种格式中提取和构建信息，RAG 就无法完善。而 Mistral OCR 的出现改变了这一切。

Mistral OCR是什么？它有何独特之处？

Mistral OCR 是一款先进的光学字符识别 (OCR) API，其功能远不止提取文本。与传统的 OCR 工具不同，它能够识别文档的结构和上下文，确保检索到的信息既准确又有意义。它兼具高精度和高性能，是轻松处理大量文档的理想之选。以下是它的主要优势：

• 深度文档理解：它不仅能识别和提取文本，还能识别和提取表格、图表、公式和交错图像，从而保持文档的完整性。
• 高速处理：Mistral OCR 单节点处理速度高达每分钟 2000 页，专为高吞吐量环境而设计。
• 文档提示功能：此功能允许用户将整个文档视为提示，从而实现精确且结构化的信息提取。
• 结构化输出格式：提取的内容可以格式化为 JSON，更易于集成到工作流程和 AI 应用中。
• 安全灵活的部署：对于拥有严格隐私政策的组织，Mistral OCR 提供自托管选项，确保数据安全和合规性。

这些功能使 Mistral OCR 成为将非结构化文档转换为 AI 可用知识库的强大工具。

Mistral OCR如何增强RAG

将 Mistral OCR 与 RAG 集成，开启知识检索的新维度。它对系统的改进方式如下：

• 将 RAG 扩展到多模态数据：Mistral OCR 通过处理扫描文档、图像和 PDF，使 RAG 模型能够处理文本以外的信息。
• 保留文档结构以获得更佳的上下文：Mistral OCR 能够保持文本、图像和结构化元素之间的关系，确保提取的文本含义不会丢失。
• 加速知识检索：高速处理海量文档库的能力确保 AI 驱动的搜索和分析保持高效和最新。
• 利用 AI 就绪数据赋能各行业：无论是法律文件、科学研究还是客户支持文档，Mistral OCR 都能帮助 AI 系统更轻松地访问富含知识的文档。
• 实现与 AI 管道的无缝集成：结构化输出使 RAG 系统能够将提取的信息无缝集成到各种 AI 应用程序中。

Mistral OCR实战指南：分步详解

Mistral OCR 是一款功能强大的工具，可用于从图像和扫描文档中提取结构化信息。在本节中，我们将逐步介绍一个利用 Mistral OCR 处理图像并返回结构化数据的 Python 脚本。

前提条件：访问API

在开始测试 Mistral OCR 的步骤之前，我们先来看看如何生成所需的 API 密钥。

1. Mistral API密钥

要获取 Mistral API 密钥，请访问 Mistral API 并注册一个 Mistral 帐户。如果您已有帐户，只需登录即可。

登录后，点击“Create new key”以生成新密钥。

2. OpenAI API密钥

要获取 OpenAI API 密钥，请访问 OpenAI 网站并登录您的帐户。如果您还没有 OpenAI 帐户，请注册一个。

登录后，点击“Create new secret key”生成新密钥。

3. Gemini API密钥

要获取 Gemini API 密钥，请访问 Google AI Studio 网站并登录您的 Google 帐户。如果您还没有帐户，请注册一个。

登录后，导航至 API 密钥部分，然后点击“Create API Key”以创建新密钥。

一切准备就绪，让我们开始实施吧。

步骤 1：导入依赖项

该脚本导入必要的库，包括：

• 来自“pydantic”的 Enum 和 BaseModel
• 用于处理文件路径的 Path
• 用于图像文件编码的 base64
• 用于将语言代码映射到其完整名称的“pycountry”
• 用于与 OCR API 交互的 Mistral SDK

from enum import Enum
from pathlib import Path
from pydantic import BaseModel
import base64
import pycountry
from mistralai import Mistral

步骤 2：设置Mistral OCR客户端

该脚本使用 API 密钥初始化 Mistral OCR 客户端：

api_key = "API_KEY"
client = Mistral(api_key=api_key)
languages = {lang.alpha_2: lang.name for lang in pycountry.languages if hasattr(lang, 'alpha_2')}

请务必将“API_KEY”替换为您的实际 API 密钥。

步骤 3：定义语言处理

为确保提取的文本带有正确的语言信息，脚本使用“pycountry”创建一个字典，将语言代码（例如，en 代表英语）映射到完整的名称。

languages = {lang.alpha_2: lang.name for lang in pycountry.languages if hasattr(lang, 'alpha_2')}
class LanguageMeta(Enum.__class__):
def __new__(metacls, cls, bases, classdict):
for code, name in languages.items():
classdict[name.upper().replace(' ', '_')] = name
return super().__new__(metacls, cls, bases, classdict)
class Language(Enum, metaclass=LanguageMeta):
pass

枚举类（Language）动态生成结构化输出的语言标签。

步骤 4：定义结构化输出模型

使用“pydantic”创建 StructuredOCR 类。该类定义了提取的 OCR 数据的格式，包括：

• file_name：处理后的图像文件名。
• topics：从图像中检测到的主题。
• languages：识别出的语言。
• ocr_contents：以结构化格式提取的文本。

class StructuredOCR(BaseModel):
file_name: str
topics: list[str]
languages: list[Language]
ocr_contents: dict
print(StructuredOCR.schema_json())

步骤 5：使用OCR处理图像

`structured_ocr()` 函数负责核心 OCR 处理流程：

1. Image Encoding：读取图像并将其编码为 base64 字符串，以便发送到 API。
2. OCR Processing：将图像传递给 Mistral OCR，并以 Markdown 格式检索提取的文本。
3. Structuring the OCR Output：后续请求将提取的文本转换为结构化的 JSON 格式。

def structured_ocr(image_path: str) -> StructuredOCR:
image_file = Path(image_path)
assert image_file.is_file(), "The provided image path does not exist."
# Read and encode the image file
encoded_image = base64.b64encode(image_file.read_bytes()).decode()
base64_data_url = f"data:image/jpeg;base64,{encoded_image}"
# Process the image using OCR
image_response = client.ocr.process(document=ImageURLChunk(image_url=base64_data_url), model="mistral-ocr-latest")
image_ocr_markdown = image_response.pages[0].markdown
# Parse the OCR result into a structured JSON response
chat_response = client.chat.parse(
model="pixtral-12b-latest",
messages=[
{
"role": "user",
"content": [
ImageURLChunk(image_url=base64_data_url),
TextChunk(text=(
"This is the image's OCR in markdown:\n"
f"<BEGIN_IMAGE_OCR>\n{image_ocr_markdown}\n<END_IMAGE_OCR>.\n"
"Convert this into a structured JSON response with the OCR contents in a sensible dictionnary."
))
],
},
],
response_format=StructuredOCR,
temperature=0
)
return chat_response.choices[0].message.parsed
image_path = "receipt.png"
structured_response = structured_ocr(image_path)
response_dict = json.loads(structured_response.json())
json_string = json.dumps(response_dict, indent=4)
print(json_string)

输入图像

步骤 6：运行OCR并查看结果

该脚本调用 structured_ocr() 函数，传入图像（receipt.png），检索结构化 OCR 输出，并将其格式化为 JSON 字符串。

image_path = "receipt.png"
structured_response = structured_ocr(image_path)
response_dict = json.loads(structured_response.json())
json_string = json.dumps(response_dict, indent=4)
print(json_string)

这会将提取的信息以易读格式打印出来，方便集成到应用程序中。

点击此处查看完整代码。

Mistral、Gemini 2.0 Flash和GPT-4o对比

现在我们已经了解了 Mistral OCR 的工作原理，接下来让我们将其性能与 Gemini 2.0 Flash 和 GPT-4o 进行比较。为了确保比较的一致性和公平性，我们将使用在实践部分测试 Mistral OCR 时使用的同一张图片。目标是评估 Mistral、Gemini 2.0 和 GPT-4o 在完全相同的输入图像上的表现。以下是各模型生成的输出。

使用 mistral-ocr 的输出：

以下是我们实践部分得到的响应。

使用 gemini-2.0-flash 输出：

from google import genai
from PIL import Image
# Initialize the GenAI client with your API key
client = genai.Client(api_key="AIzaSyCxpgd6KbNOwqNhMmDxskSY3alcY2NUiM0")
# Open the image file
image_path = "/content/download.png"
image = Image.open(image_path)
# Define the prompt for the model
prompt = "Please extract and provide the text content from the image."
# Generate content using the Gemini model
response = client.models.generate_content(
model="gemini-2.0-flash",
contents=[image, prompt]
)
# Print the extracted text
print(response.text)

使用 gpt-4o 的输出结果：

我在测试 GPT-4o 时，它无法访问本地文件。因此，我提供了一个类似图片的 URL，以便 GPT 评估其文本提取能力。

from openai import OpenAI
client = OpenAI(api_key="api_key")
response = client.chat.completions.create(
model="gpt-4o",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "What's in this image?"},
{
"type": "image_url",
"image_url": {
"url": "https://preview.redd.it/11gu042ydlub1.jpg?width=640&crop=smart&auto=webp&s=8cbb551c29e76ecc31210a79a0ef6c179b7609a3",
}
},
],
}
],
max_tokens=300,
)
print(response.choices[0].message.content)

比较分析

Mistral OCR性能基准测试

现在，让我们来看看 Mistral OCR 在各项基准测试中的表现。

1. 标准基准测试

Mistral OCR 在文档分析领域树立了新的标杆，在严格的基准测试中始终优于其他领先的 OCR 模型。其先进的功能不仅限于简单的文本提取，还能准确识别和检索嵌入在文本内容中的图像——这是许多竞争模型难以实现的。

2. 按语言划分的基准测试

Mistral OCR 能够识别、解码和翻译来自世界各地数千种语言、文字和字体，树立了行业标杆。Mistral OCR 可以轻松处理各种语言结构，确保翻译过程中不会遗漏任何信息，使其成为弥合语言鸿沟的得力助手。

Mistral OCR的未来应用

Mistral OCR 有望通过使复杂文档更易于访问和操作，从而革新各行各业。以下是一些关键应用：

• 数字化科研：科研机构可利用 Mistral OCR 将科学文章、期刊和技术报告转换为 AI 兼容格式。这能够加快知识共享，促进更顺畅的协作，并改进 AI 辅助的文献综述。
• 保护历史文化遗产：博物馆、图书馆和档案馆中的历史手稿、艺术品和文化文物不仅能够更方便地供研究人员和公众查阅，还能进行长期的数字化保存。
• 优化客户服务：企业可以将用户指南、产品手册和常见问题解答转换为结构清晰、可搜索的知识库，从而缩短响应时间并提升客户满意度。
• 使设计、教育和法律领域的文献具备 AI 功能：从工程蓝图到法律协议和教育内容，Mistral OCR 确保关键行业文档均被索引，并可随时访问，从而实现 AI 驱动的洞察和自动化。

小结

长期以来，隐藏在复杂文档（无论是科学图表、手写稿还是结构化报告）中的宝贵知识一直被人工智能拒之门外。Mistral OCR 改变了这一现状，它将 RAG 系统从简单的文本检索器转变为能够真正理解和驾驭各种形式信息的强大工具。这不仅是技术的进步，更是我们获取和共享知识方式的突破。Mistral OCR 让曾经难以处理的文档变得触手可及，帮助人工智能弥合信息与理解之间的鸿沟，使知识比以往任何时候都更容易获取。