老旧OCR文本拖累大模型训练,FineBooks项目寻求规模化修复
结论前置 / TL;DR
Hugging Face与EleutherAI联合发起的FineBooks项目评估了14个开源OCR模型在2000余页历史文献上的表现。最优模型dots.mocr字符准确率达97.6%,成本低于2美元/千页,满足AI训练数据质量要求,但尚达不到学术级转录标准。
OCR质量成大模型数据瓶颈
FineBooks项目由Hugging Face和EleutherAI共同开展,系统测试了14种开源OCR模型在超过2000页历史书籍图像上的识别效果。结果显示,当前最优模型dots.mocr在字符级准确率上达到97.6%,处理成本控制在每千页不足2美元。
精度门槛分层明显
该精度水平已足以支撑大规模语言模型训练所需的数据清洗与预处理需求,但研究团队明确指出,其仍不足以满足人文学者对古籍、手稿等历史文献进行高保真学术转录的严苛标准——后者通常要求接近100%的字符与版式还原精度。
开源协作推进数据基建
FineBooks旨在通过开放基准、模型与数据集,推动高质量历史文本数字化基础设施建设,为语言模型提供更可靠的基础语料来源。
本文为企业智脑(优秘智能)编译整理自公开资讯,信息与观点以原文为准,仅供参考。阅读原文(The Decoder) →