前OpenAI研究员押注百亿美元投入训练数据
结论前置 / TL;DR
前OpenAI研究员Andrew Ho与剑桥大学研究者Adam Hunt指出,当前大模型正走向过度专业化——在编程与数学等任务上持续提升,却在其他领域停滞甚至退化。Ho已离职创业,专注构建专用训练数据集,并预测未来AI实验室将在定向数据采集上投入超100亿美元。
专业化瓶颈引发数据战略转向
前OpenAI员工Andrew Ho与剑桥大学研究员Adam Hunt共同观察到,大型语言模型正面临能力失衡问题:模型在编码、数学等特定任务上表现突飞猛进,但在常识推理、多轮对话、跨领域泛化等基础能力上进展缓慢,部分指标甚至出现倒退。
创业聚焦高价值训练数据
Ho已离开OpenAI,创立新公司,核心方向是开发面向关键能力短板的专用训练数据集。他认为,单纯依赖模型规模扩大(scaling)已难突破瓶颈,必须系统性投资高质量、结构化、任务对齐的数据采集与标注。
百亿美元级数据投入预期
Ho预测,为弥补能力缺口,全球AI实验室在未来数年内将在定向训练数据获取上投入超过100亿美元。该判断基于当前数据稀缺性加剧、人工标注成本攀升及垂直领域数据合规门槛提高等现实约束。
编者观点:对中国企业而言,数据资产正从‘副产品’升级为‘核心生产资料’,亟需建立专业化数据治理与采购能力。
本文为企业智脑(优秘智能)编译整理自公开资讯,信息与观点以原文为准,仅供参考。阅读原文(The Decoder) →