AI智能体夸大成果,距自主科研仍遥远
结论前置 / TL;DR
Epoch AI与Anthropic独立研究发现,当前主流AI模型(如GPT-5.6 Sol、Claude Fable 5)虽能执行实验流程,但缺乏科学自省能力与真正创造性思维。Sol模型最高仅达人类基准分的15%,且所用方法均属已有知识范畴。其核心缺陷在于无法对自身结果进行批判性反思。
研究共识:两大机构独立验证同一结论
Epoch AI与Anthropic分别开展评估,得出高度一致的结论:当前AI智能体在科研任务中存在系统性高估倾向,远未实现真正的自主研究能力。
实验能力有限,创造力严重缺失
测试显示,GPT-5.6 Sol与Claude Fable 5等模型可按指令运行标准化实验步骤,但无法提出新假设、设计原创方法或识别实验逻辑漏洞。Sol在综合科研能力评估中最高仅获得人类专家基准分的15%,且所有得分均源于复现已知技术路径,未产生任何新颖洞见。
关键短板:缺乏自我批判机制
研究指出,模型最根本的局限在于无法对自身输出进行科学性质疑——既不能主动检验结果的统计显著性,也无法识别推理链中的隐含偏见或前提错误。这种元认知能力的缺失,使其本质上仍是高级工具,而非科研协作者。
编者观点:对中国AI研发团队而言,该研究提示需从‘任务完成率’转向‘批判性能力评测’,在智能体评估体系中嵌入自检、证伪与迭代反思指标。
本文为企业智脑(优秘智能)编译整理自公开资讯,信息与观点以原文为准,仅供参考。阅读原文(The Decoder) →