METR发布新指标:测算AI代理何时比人类更贵
结论前置 / TL;DR
AI评估机构METR提出名为“支出临界点”(expenditure horizon)的新指标,用以量化AI代理在任务中超越人类成本效益的具体时间点。该指标首次应用于NanoGPT速度挑战测试,初步结果未达预期;研究者同时指出其存在局限性,且新一代大模型可能显著改写当前结论。
新指标定义成本拐点
METR推出“支出临界点”(expenditure horizon)这一量化指标,旨在精确计算AI代理在特定任务中单位产出成本超过人类劳动力的临界时间点,为AI经济性提供可衡量的判断基准。
初步验证与局限并存
该指标在NanoGPT速度运行(speedrun)任务中完成首次实证测试,但早期结果表现平平,未能展现明显成本优势。METR坦承该指标目前存在盲区,例如未充分纳入隐性成本(如调试、维护、失败重试等)及人类协作的弹性价值。
模型迭代或将重塑结论
报告强调,当前评估基于现有AI模型能力,而最新一代大模型在推理效率、工具调用稳定性与长程规划方面的进步,可能在未来大幅缩短或延后这一临界点。
本文为企业智脑(优秘智能)编译整理自公开资讯,信息与观点以原文为准,仅供参考。阅读原文(The Decoder) →