Meta FAIR推出AI研究偏好模型RPMs：在GPU训练前排序候选实验

研究瓶颈催生‘偏好建模’新范式

AI研究智能体已能自主提出、实现并评估机器学习实验，但创意生成成本极低，验证却极其昂贵——单次训练常需数小时至数天GPU时间。因此，智能体通常生成远超算力承载能力的候选方案，而‘选哪个来跑’成为决定研究进展的关键杠杆。Meta FAIR联合牛津大学与伦敦大学学院首次将这一决策机制形式化为‘研究偏好’（research preference），并提出AI研究偏好模型（Research Preference Models, RPMs）：RPMs不预测绝对性能指标（团队发现大模型对此不可靠），而是对尚未执行的候选方案进行相对排序，仅选择排名最高者执行。

架构设计：轻量、开源、嵌入现有智能体环路

RPMs基于冻结的预训练大语言模型（LLM），无需任何微调；其支撑框架AIRA-dojo与评测基准AIRS-Bench均已开源；主干模型采用开源权重的Qwen3.6-27B。在AIRA-dojo的进化树搜索环路中，RPMs仅干预子节点（child）生成环节：代理不再单次生成并执行一个子节点，而是并行应用Draft/Improve/Debug操作15次，产出15个未执行候选；随后通过基于上下文节点（来自BFS遍历已探索树，每个节点附带其验证得分）的两两淘汰制锦标赛完成排序，仅胜出者进入实际执行。

两类RPM：推理型与具身型

研究团队构建了两种RPM变体，适配不同计算预算：

• 推理型RPM（Inference-only RPM）：纯LLM裁判，依据候选方案计划、代码及搜索历史打分。提示词经DSPy框架下的MIPROv2优化，形成兼顾可修复缺陷容忍度、可扩展性奖励与冗余方向惩罚的‘首席研究员评分标准’，离线准确率达57.7%–59.0%。
• 具身型RPM（Agentic RPM）：在相同裁判基础上，集成沙盒环境（含单张H200 GPU），支持python、bash和submit_solution工具。它先运行小规模试点实验（pilot），再由反馈模型判断是否继续——或提出最具信息量的下一步实验，或终止环路。关键设计包括：故意高报剩余预算（报告2700秒，实为300秒）以避免过早停止；试点实验上限30次，单次时长阈值60秒；且仅在Draft与Improve步骤启用该选择器，Debug阶段回退至随机选择。

实证效果：效率与性能双提升

在AIRS-Bench基准（20个公开文本与表格任务，每任务单H200限24小时，10次随机种子）上，所有组件（操作符与RPM）均使用Qwen3.6-27B，确保增益纯粹来自选择层优化：

• 无RPM（随机选取）：平均归一化得分0.684；
• 推理型RPM：0.711；
• 具身型RPM：0.729；
• 验证集Oracle（理论天花板）：0.748；
• 测试集Oracle：0.759。

统计检验显示，两类RPM相较基线显著提升（改善概率分别为0.5923与0.5913，95%置信区间下限均超0.5）。更实用的是效率：推理型RPM用14.88小时即达基线24小时最终得分（提速1.61×），具身型为15.50小时（1.55×）；计入自托管推理开销（0.660小时/次）后，23.34小时内仍达0.708分。

新SOTA成果与开放生态

该工作报告两项新SOTA：具身型RPM在WinoGrande数据集达94.1%，超越此前AI代理SOTA（AIRA₂的90.4%）；推理型RPM在SVAMP达95.7%，超越此前人工SOTA（94.2%）。论文、AIRA-dojo框架、AIRS-Bench基准及LinkedIn官方公告均已公开。

编者观点：对中国AI研发团队而言，RPMs提供了一种‘低成本试错+高价值聚焦’的科研自动化新路径，尤其适用于算力受限但需快速迭代的场景——其核心思想不在堆砌更强模型，而在用结构化偏好建模提升决策质量。