Perplexity用真实错误训练AI代理，引入提示引导自蒸馏

基于真实失败会话的后训练新范式

Perplexity Research发布一项新后训练研究，首次系统性地利用真实用户交互数据——包括明确失败的会话——来优化其AI代理模型。该模型运行于Perplexity Computer产品中，训练数据来自由GLM 5.2驱动的真实服务会话，剔除含个人身份信息及用户选择退出的数据。任务难度经LLM评分筛选（仅保留4–5分高难度任务），成功会话需经两名LLM法官一致判定最终交付合格；用户投诉则由三名LLM法官协同定位责任轮次，且至少两人达成共识——此举旨在避免将倒数第二轮误判为根因（实际仅约50%情况下最后一轮即为真正错误源）。

三类处理策略：模仿、修正与保留上下文

传统拒绝采样微调（RFT）仅模仿成功会话的完整轨迹，但成功结果不等于每一步正确：代理可能通过后续纠错弥补前期错误，盲目模仿反而强化错误行为；而直接丢弃失败会话，则浪费了清晰可识别的错误样本。Perplexity团队将训练决策解耦为两个独立判断：哪些会话包含值得模仿的行为？哪些对话轮次存在值得修正的错误？据此对每个助手回复轮次施加三种处理：

• 模仿（Imitate）：成功会话中的非错误轮次，施加标准交叉熵（CE）损失；
• 修正（Correct）：任何会话中带有经验证提示（hint）的错误轮次，施加前向KL散度损失；
• 保留为上下文（Keep as context）：其余轮次保留在输入序列中，但不参与梯度更新。

值得注意的是，成功会话既可提供模仿目标，也可提供修正目标；失败会话则仅贡献修正目标。

提示如何转化为训练信号

提示是短小、可操作的纠正指令，其内容必须严格基于模型在出错前已掌握的信息（防止回溯偏差）。例如，某搜索调用将`recency_filter`设为`'year'`，但API Schema仅接受`'day'`/`'week'`/`'month'`；提示即明确指出该调用、报错类型，并建议替换为合法值或省略该可选字段。该提示通过“在线策略自蒸馏”（OPSD）机制注入训练：同一GLM 5.2检查点在相同输入上运行两次——教师路径可见提示并生成软目标概率分布，学生路径不可见提示；二者均采用教师强制（teacher forcing），不生成替代答案；教师输出的概率经分离后，作为学生学习的KL损失软目标。总损失为`(CE + λ × KL)`，按模仿token数归一化；当λ=0时，退化为标准监督微调（SFT）。

实证效果：离线提升显著，线上验证稳健

离线评估显示，提示本身即具强修正能力：在985个预留工具错误轮次上，加入提示后基础模型规避原错误的比例从75.1%升至93.7%，执行正确动作比例从60.6%升至82.3%。针对用户反馈轮次，含明确证据的“已修复/进行中”率从40.0%升至75.0%，基于推理意图的对应指标则从32.5%跃升至80.0%。工具错误率在离线记录中亦大幅下降：原始GLM 5.2为2.79%，纯RFT为1.35%，而RFT+OPSD检查点进一步降至0.87%。在线A/B测试中，两个训练检查点对比显示工具调用失败率从2.24%降至1.77%，实现21.2%的统计显著相对下降；但早期检查点与基线对比（2.82% vs 2.94%）未达显著性，强不满率变化（2.58%→2.54%）亦不显著。Perplexity未在线上直接对比后期检查点与原始GLM 5.2。

部署现状与开源边界

该方法尚未开放后训练权重或代码，模型仅作为Perplexity Computer产品内的一个可选代理模型运行。其底层基础模型GLM 5.2已在Hugging Face平台开源，可供社区复现与延伸研究。

> 编者观点：Perplexity此实践凸显“失败数据”的高价值——中国企业开发AI智能体时，可借鉴其结构化错误归因与提示驱动修正机制，在保障用户隐私前提下，构建闭环反馈驱动的代理进化体系，而非仅依赖成功案例的单向模仿。