Jina AI发布jina-ocr-v1：3.4B MoE文档解析模型，内置推测解码适配低预算GPU

模型定位与核心能力

jina-ocr-v1是Jina AI推出的端到端视觉文档解析模型，可直接处理PDF、扫描件、表格、图表及发票等输入，单次推理即输出结构化Markdown（含HTML表格与LaTeX公式）。其技术路线基于DeepSeek-OCR后训练优化，保留并强化了原有两大效率组件：DeepEncoder与MoE解码器。模型总参数量约3.4B，其中解码器采用DeepSeek-3B-MoE架构——含12层、64个路由专家与2个共享专家，Top-6路由机制使每token仅激活约570M参数；上下文长度支持至32,768 token。

视觉编码与动态分辨率设计

DeepEncoder约含380M参数，融合SAM、16倍卷积压缩器与CLIP-L，将1024×1024页面视图（4,096图像块）压缩为256个视觉token。模型支持动态分辨率模式：在全局token基础上，最多叠加9个局部区域（每区域100 token），使单页视觉token上限达1,156个，兼顾细粒度识别与计算效率。

FastMTP推测解码：面向OCR的无损加速方案

针对OCR任务输出高度确定性与局部结构化的特点，Jina AI创新集成FastMTP推测解码头。该模块包含1个密集型草稿块，递归执行K=3步草稿生成；草稿参数固定不随深度变化。主解码器随后以贪心方式逐级验证草稿，接受最长匹配前缀，并自主生成第1个新token。若全部3步草稿均匹配，则额外获得1个token收益。该机制保证最终输出与纯贪心解码完全一致，实现零精度损失加速。实测K=3时平均每次步进提交2.73个token。

后训练策略：可验证奖励驱动的多目标对齐

模型后训练融合指令对齐、退化页面鲁棒性微调与GRPO算法。所有奖励信号均为确定性代码评分，覆盖内容完整性、公式识别、表格结构、格式合规性、单元测试通过率、重复抑制及结构有效性七大维度。各奖励项相乘加权，部分正确样本可获部分得分；其中结构、单元测试与格式项设最低分0.2，表格项为0.1，重复项无下限（防止循环伪造抬高内容分）。为弥补真实数据中公式与表格样本稀疏问题，团队构建合成数据集JinaOCRSynth，并引入智能体在固定评估预算下合并候选检查点。推测头在最终验证器冻结后单独训练。

性能表现与部署方式

在OmniDocBench v1.6与olmOCR-Bench基准测试中，jina-ocr-v1分别取得91.14与83.4分，较DeepSeek-OCR基线提升7.4分。虽未在单项准确率上绝对领先（如PaddleOCR-VL-1.6达96.34），但其吞吐优势显著：A100 40GB GPU（并发32）下达2.57页/秒，为所测14个系统最高；单页输出1,085 token，为同分段（>83分）系统中最短。在NVIDIA L4 GPU上，启用推测解码后吞吐从42.7提升至83.1 token/秒（1.95倍，接受率57.6%）；启用CUDA Graphs后，K=1即可达185.6 token/秒（相对基线158.3提升1.17倍）。

用户可通过Jina Reader（向r.jina.ai发送带`X-Respond-With: jina-ocr-v1`头的URL请求）、OpenAI兼容API（`https://api.jina.ai/v1/chat/completions`）或自托管方式使用。开源权重约6.8GB（BF16格式），需`trust_remote_code=True`加载；FastMTP依赖vLLM ≥0.21并需一次`register()`调用；标准Transformers加载路径则忽略推测头权重。

编者观点

jina-ocr-v1凸显了中国AI初创在垂直场景模型工程化上的务实突破——不盲目堆参，而是通过MoE稀疏激活、轻量推测解码与合成数据增强，在有限算力下实现高吞吐、低延迟的工业级文档理解，为中小企业及边缘设备部署高质量OCR提供了可复用的技术范式。