大模型能否自主构建智能体框架？字节Seed团队HarnessDev研究揭示泛化瓶颈
字节跳动Seed联合多所高校提出HarnessDev评估框架，让大模型自主编写可运行的智能体执行框架（agent harness）。实验显示：6个主流大模型在创建阶段平均仅达人类基准分的67.8%；进化阶段中，仅34/64次代码变更能在隐藏任务上泛化，凸显当前LLM自构建智能体能力的严重局限性。
什么是Agent Harness？
Agent harness指围绕大模型构建的完整执行基础设施：包括执行循环、工具调用接口、上下文管理、状态维护、错误恢复与结果验证机制。研究指出，当前多数基准测试（如Terminal-Bench 2.1）固定使用同一套harness，仅评测模型输出答案的正确性。而HarnessDev反其道而行之——将模型生成的可运行harness本身作为核心评测对象，而非最终答案。
两阶段评估：Creation与Evolution
Creation阶段：每个大模型（称为creator）从同一套极简种子代码起步——仅含被动文件操作、搜索、进程调用等基础原语，以及结果与轨迹记录器，但不含循环、规划器、校验器、重试逻辑或终止规则。该种子代码在所有任务上得分为0。creator接收任务族说明、简短设计教程及1–3个开发样例，据此构建完整harness，并在进入隐藏任务前冻结该代码。
Evolution阶段：creator基于自身Creation阶段冻结的harness，利用100个SWE-bench Pro任务和全部89个Terminal-Bench 2.1任务的执行反馈进行迭代优化。每轮官方提交需完成一对Creation+Evolution评估，共限10对，且每对间最多允许2次五任务探针测试。所有官方版本最终在630个完全隔离的SWE-Pro隐藏实例上统一评分。
实验设置与数据规模
6个creator LLM参与测试：Opus 4.8、GPT-5.5、Gemini 3.1 Pro、DeepSeek V4 Pro、Qwen 3.7 Max、Seed 2.0 Pro，均运行于Claude Code 2.1.177环境（GPT-5.5使用Codex 0.144.3）。Creation阶段覆盖5大基准、4大领域，总计2,207个实例：SWE-bench Pro公开集（731）、Terminal-Bench 2.1（89）、MLE-bench（75）、EQ-Bench3（46）、BrowseComp（1,266）。每模型每基准构建3个harness，报告平均分（avg@3）。评估分Self-Eval（harness由原creator运行）与Unified-Eval（全部harness由Gemini 3.1 Pro统一运行）两类。
Creation阶段核心发现
在Self-Eval下，Opus 4.8以67.8分位居第一，但仍显著低于人类工程基准86.2分。各领域差距悬殊：代码领域（SWE-Pro），Opus得69.3分 vs 基准80.0；终端交互（Terminal-Bench），Gemini领先达68.8分 vs 基准88.8；搜索任务（BrowseComp）差距最大——GPT-5.5最高仅52.6分 vs 基准92.2；写作任务（EQ-Bench3）Opus反超基准（84.6 vs 83.7）；ML实验（MLE-bench）Opus与Gemini（32.9/32.4）亦高于基准24.0。值得注意的是，代码行数与质量无相关性：Gemini新增代码最少（1,006行），却在Terminal-Bench登顶；自测用例数量与得分弱相关（Spearman系数0.13–0.26），而修订调用率高达0.57——表明大量生成逻辑实际未被触发。108个组件中，18个从未执行，全属状态与内存模块；11个harness定义State类，但在26,679条执行轨迹中无一次checkpoint事件发生；587项写入功能中124项为死代码。
执行器迁移揭示深层脆弱性
MLE-bench中token消耗差异达19倍：GPT-5.5以29.3M tokens达成19.1%奖牌率，DeepSeek V4则耗208.4M tokens获19.6%。当统一切换至Gemini执行器后，排名剧烈震荡：Qwen在BrowseComp与MLE-bench分别跃升17.6与12.9分；Opus的SWE-Pro分却从69.3暴跌至33.0——主因某harness硬编码了针对原执行器的120步限制；其搜索harness重复查询率更从10.1%飙升至88.2%。
Evolution阶段泛化能力堪忧
9条演化谱系（5条自运行、4条固定Gemini）产出73个官方版本及64次相邻变更。5条自运行谱系均在隐藏任务上提升（+1.43至+4.44分，均值+3.11）；但4条固定Gemini谱系中，仅Opus提升，GPT-5.5反降10.32分。进步非单调：64次变更中，8次双基准倒退，16次单基准倒退，27次增益落入噪声带，仅2次呈现明确正向证据。单次提交波动可达±4.75分。反馈得分与隐藏任务得分方向一致仅34次（53.1%），9个最终声明版本中仅2个实为隐藏最优。新增169个函数/类中，25个无任何调用者。唯一清晰成功案例：Opus识别出99%运行报告成功但仅48%真实通过，定位到过早终止问题，引入完成门控（completion gate）；而故障诊断环节最薄弱——专用轨迹分析接口全程仅被调用2次。