OpenAI称GPT-5.6 Sol在ARC-AGI-3测试中胜过Opus 5,但仅限自建测试环境
结论前置 / TL;DR
OpenAI宣称其新模型GPT-5.6 Sol在ARC-AGI-3基准测试中得分38.3%,超越Anthropic的Claude Opus 5(30.2%)。但该成绩仅在其定制API环境下达成,依赖保留推理链与上下文压缩技术;在官方标准测试环境中,GPT-5.6 Sol得分仅为7.8%。
OpenAI发布对比数据但测试条件存差异
OpenAI对外公布GPT-5.6 Sol在ARC-AGI-3基准上的表现,称其得分为38.3%,高于Anthropic发布的Claude Opus 5的30.2%。然而,该高分结果依赖于OpenAI自建的API测试环境,该环境支持保留完整推理过程及上下文压缩功能。
官方环境得分大幅回落
在ARC-AGI-3项目方提供的标准、公开测试环境中,GPT-5.6 Sol的实际得分为7.8%,远低于Opus 5在相同环境下的30.2%。这意味着模型性能优势高度依赖特定工程优化,而非通用能力提升。
测试方法引发可比性质疑
Anthropic未使用类似推理链保留或上下文压缩机制即达成30.2%成绩,而OpenAI的高分需叠加多项定制化部署策略。目前ARC-AGI-3尚未定义统一测试协议,不同厂商的实现路径差异正引发对跨模型公平比较的讨论。
本文为企业智脑(优秘智能)编译整理自公开资讯,信息与观点以原文为准,仅供参考。阅读原文(The Decoder) →