腾讯开源AngelSpec：面向Hy3模型的统一推测解码训练框架

开源框架定位：直面真实服务负载的异构性

腾讯发布开源项目AngelSpec，一个专为Hy3类大语言模型设计的推测解码（speculative decoding）草稿模型训练框架。其核心突破在于拒绝将‘单一通用草稿模型’作为默认解法，转而将真实线上服务中高度异构的工作负载（如开放对话、代码生成、数学推理）视为首要设计约束。框架同步支持两种互补草稿范式：自回归多令牌预测（MTP）与块并行DFlash家族变体（DFly），并为二者分别定制结构、训练数据与验证深度。

为何‘一统天下’的草稿模型失效？

推测解码的加速效果取决于两个反向变动的关键指标：草稿令牌被主模型接受的数量，以及完整‘草稿–验证’轮次的耗时。在高熵开放对话中，语义有效的续写路径众多，主模型可能随机选择其一，导致接受率随草稿深度快速衰减；此时长块并行验证反而浪费算力，短序列MTP更适配。而在代码与数学推理任务中，语法结构、标识符复用、形式化表达及分步推导显著增强未来令牌可预测性，形成更长的稳定可预测区间——这正是块并行架构能有效摊销计算开销的场景。AngelSpec因此提供两类专业化草稿模型，而非妥协折中的单一方案。

MTP路径：训练–推理对齐的三重创新

针对原始Hy3模型中MTP层在训练时未经历自循环展开、导致推理中深度误差累积的问题，AngelSpec提出共享参数、多深度联合训练方案：保留D个逻辑预测深度，但仅复用单个物理MTP模块；训练时对该模块进行D步自回归展开，且第k+1步输入采用第k步的argmax预测（而非真实标签），严格遵循EAGLE-3提出的‘训练时测试（Training-Time Test）’原则。监督信号仍按深度独立设置，教师目标逐层推进一个未来位置。

此外，两大关键设计带来显著增益：一是冻结目标模型主干与语言建模头，且MTP输入梯度截断，确保草稿模型优化提案分布的同时，不扰动验证环节必须维持的原始分布；二是采用‘目标模型回滚（target-model rollout）’训练方式——训练数据由冻结的目标模型实时生成，而非静态语料库，从而精准复现服务时的真实token选择、隐状态轨迹与局部不确定性模式。

实测结果显示改进集中于深层位置：在GSM8K与HumanEval上，第三位置接受率分别从0.290/0.387跃升至0.706/0.757；整体平均接受率从52.8%升至66.4%，平均接受长度从2.58增至2.99；首位置接受率基本保持（0.799→0.814）。

DFly架构：混合条件注入与前驱感知自回归头

DFly是AngelSpec中块并行路径的核心架构，基于DFlash演进而来，含两项关键改进：其一为‘混合目标条件注入’——DFlash将多层目标隐状态拼接后经全连接层压缩为单一上下文特征，供给所有草稿层，限制了层间特化能力；DFly则融合FC分支（构建共享语义基底）与逐层融合权重（作为残差精调），在引入极小参数增量（仅D×T个标量权重）前提下，赋予各草稿层对目标模型层级结构的差异化感知能力，且softmax系数可在训练后预计算。其二为‘前驱条件自回归头’——传统并行头仅依赖初始接受上下文，无法感知前期已选续写路径；DFly新头显式建模前序已接受token的影响，提升块内位置间的条件一致性。

编者观点：AngelSpec体现中国头部厂商在AI推理优化底层技术上的系统性思考——不追求短期指标刷榜，而是深入业务负载差异，以工程化方法解耦问题、分而治之。这对国内大模型厂商摆脱‘堆卡跑分’路径、构建面向真实场景的高效推理栈具有直接参考价值。