Datalab发布OmniExtractBench：面向结构化文档抽取的开源可审计基准
Datalab推出OmniExtractBench——一个开源、可复现、带细粒度归因的结构化文档抽取评测基准，整合620份PDF文档，覆盖监管文件、财报、表格等真实场景。其核心创新在于内容驱动的行对齐算法与六类 verdict 的逐值评分机制，直指现有基准存在的偏见性、黑箱性、解释缺失和文档多样性不足四大缺陷。
为解决抽取评测的系统性缺陷而生
Datalab正式发布OmniExtractBench，一个面向结构化文档抽取任务的开源基准测试套件。该基准要求AI系统从PDF文档中准确提取信息，并按给定JSON Schema输出结构化结果。它并非从零构建数据集，而是系统性整合了4个既有基准（ExtractBench、LongExtractBench、LongArray-Extract及Datalab自建合成集）共620份文档，涵盖监管申报表（88份）、密集表格、单页简报、超长扫描件（33份超100页文档占总页数40%）等多种真实业务形态。
直击行业评测四大顽疾
Datalab在发布说明中明确指出，当前主流抽取基准普遍存在四类问题：偏见性（benchmark由厂商自建，天然倾向自身模型）、黑箱性（低分可能源于评测框架bug而非模型能力弱）、不可解释性（无法定位具体哪一字段出错）、文档窄化（部分基准仅含规整表格，另一些则仅限干净无扫描文本）。OmniExtractBench旨在提供统一、透明、可审计的‘共享标尺’，以应对抽取服务商纷纷发布自有排行榜却难以横向比对的现状。
内容对齐+六类verdict：可归因的细粒度评分
OmniExtractBench的核心技术突破在于其确定性评分器（scorer）。它将预测JSON与标准答案（gold）均展平为‘地址路径’（如`/table[0]/row[2]/cell[1]`），并对每个值进行标准化处理（例如统一日期格式）。针对表格抽取这一难点，传统位置对齐法（positional matching）易因首行缺失导致后续全错（100行表缺首行即得0%分），OmniExtractBench采用基于内容的匈牙利算法（Hungarian algorithm）进行行级语义匹配——该方法已在ExtractBench和LongArray-Extract中验证有效。在此基础上，OmniExtractBench进一步引入六类 verdict：paired（正确匹配）、misread（匹配但值错）、unfound（漏填）、fabricated（Schema允许但Gold未填、模型却填）、invented_item（预测行无法匹配任何Gold行）、invented_field（预测了Schema未定义的字段）。最终准确率=匹配正确值数 / 总verdict数；精确率与召回率亦分别按预测值和Gold值分母计算。
开源可用，严格规范空值处理
该评分器已作为Python包`omni-extract-bench`（v0.1.7，需Python 3.11+及SciPy）发布于PyPI，采用Apache 2.0许可证；全部测试数据托管于Hugging Face，遵循CC BY 4.0协议。为杜绝‘填充空字段刷分’等隐蔽作弊，基准明确定义：空字符串、None、纯空白符视为‘遗漏’并直接剔除该地址；而‘NA’、‘-’等显式标记则保留为有效答案。实测表明，恶意添加空可选字段不会增加任何有效verdict。
横向对比：唯一提供逐值归因与全开源许可的基准
与其他基准相比，OmniExtractBench是目前唯一同时满足四项关键标准的评测工具：（1）文档来源多元（620份跨4基准）；（2）采用内容驱动的匈牙利算法行对齐；（3）提供每项匹配的六类verdict及可视化解释；（4）评分器与数据均采用宽松开源协议（Apache 2.0 + CC BY 4.0）。相比之下，ExtractBench虽支持匈牙利对齐与HTML报告，但仅提供字段级diff；LongArray-Extract未公开评分器许可证；LongExtractBench的50份公开文档仅标注MIT许可，且不提供逐值解释。
初步评测揭示模型行为差异
Datalab使用该基准对10种系统配置进行全量测试。结果显示：Datalab自研‘accurate’模式以93.85%准确率领先；‘balanced’模式（93.48%）与Reducto deep_extract v2（93.47%）基本持平。进一步分析precision与recall发现明显分化：GPT系列高precision（95.11%）但低recall（84.99%），主因大量‘unfound’（漏填）；LlamaExtract则呈现高recall（93.13%）但低precision（86.57%），主要失分于‘fabricated’（虚构值）；Mistral OCR 4.1与Azure Content Understanding在两项指标上均显著落后。
> 编者观点：对中国AI文档智能企业而言，OmniExtractBench不仅提供了可即插即用的评测基础设施，更树立了‘可解释、可归因、防作弊’的行业评测新范式——在金融、政务等强合规场景中，评测本身的可信度正日益成为产品落地的关键门槛。