Kyutai发布语音原生数学推理模型Voice of Reason

语音原生推理：跳过转录的端到端数学求解

Kyutai实验室正式开源Voice of Reason——两个开放权重的语音到语音（speech-to-speech）大模型，专为直接‘出声解题’而设计。二者均基于GLM-4-Voice-9B初始化，通过监督微调（SFT）与强化学习（RL）两阶段训练，彻底摒弃传统ASR-LLM-TTS级联流程：无语音转文字步骤，无独立文本大模型参与推理，输出即为连贯语音流。在口语化GSM8K测试集上，准确率从基线模型的27.3%提升至77.1%（Stitch版本），且模型可于单块NVIDIA H100 GPU上完成BF16推理部署。需配合GLM-4-Voice官方仓库中的语音分词器与解码器使用；权重沿用GLM-4-Voice许可证，目前尚未接入Hugging Face官方推理服务。

为何语音模型长期落后于数学推理？

当前主流方案仍依赖‘语音→文本→推理→语音’级联管道，虽在准确率上占优，但存在三重瓶颈：多阶段引入显著延迟；语音特有的韵律、停顿、语调等副语言线索在转录中丢失；语音原生模型需按固定节奏持续输出音频token以保障交互性，从而严格限制其内部可分配的隐式推理token数量。此前，STITCH方法通过插入静默推理块将GLM-4-Voice在口语GSM8K上的表现提升至58.7%；而Voice of Reason是首个将强化学习系统性应用于语音原生数学推理的研究工作。

训练范式：SFT+RL双阶段优化

模型输出采用交替模式：每生成13个文本token后，紧接26个音频token，循环往复。第一阶段SFT：使用Orca-Math数据集中的150,616道数学题，由Qwen3-235B重写为适配语音表达的题干，再经Kyutai自研DSM TTS合成为多音色语音样本。仅SFT即令准确率从27.3%升至61.7%。第二阶段RL：对每个口语问题，模型以温度0.9采样4个回答，由裁判模型Qwen3-235B-A22B-2507对解码后的文本进行二元奖励打分（不接触标准答案）。该裁判在100例人工校验中与人类判断一致率达88%。奖励经组内中心化处理，构建组相对REINFORCE目标——类似GRPO但省略PPO裁剪与KL正则项。训练耗时16张H100 GPU，共执行1500次RL更新。

关键技术设计：温度校正与音频token合并

两项设计被证实至关重要：温度校正——在损失计算前，将logits除以采样温度，再执行log-softmax；移除此步会导致GSM8K准确率从65.5%断崖式跌至12.3%。音频token合并——在每个音频位置，将全部音频词表概率加总为一个抽象token，损失函数仅判断‘此处是否应输出音频’，而非具体哪个音频token。论文证明该估计量在价值不变性假设下无偏且方差更低。

两款发布模型与实证结果

Kyutai发布两个检查点：`glm-4-voice-of-reason-9b`（直答型，无静默推理块，所有推导过程同步语音输出）；`glm-4-voice-of-reason-stitch-9b`（Stitch型，在语音块间插入100-token静默推理段，且后续推理段在前段语音播放期间生成，不增加端到端延迟）。在口语GSM8K上，前者达70.3%，后者达77.1%（±1.1）。对比显示：真实语音输入（经Qwen3-ASR-1.7B转录）下Stitch模型仍保持72.0%准确率；语音自然度（UTMOSv2）基本稳定；RL未导致回答冗长——直答模型平均响应时长反从41.9秒降至36.4秒；Stitch模型静默推理token仅微增（167→176）。值得注意的是，通用知识能力（口语TrivaQA）略有下降（40.6%→34.0%），作者归因于SFT阶段全量数据训练，而非RL本身。

编者观点

Voice of Reason验证了‘语音即接口、语音即推理载体’的技术路径可行性，为中国企业开发面向教育、老年服务、无障碍交互等语音优先场景的垂直AI产品，提供了可商用、可自托管的轻量化技术基座——摆脱对高延迟级联系统与云端大模型的依赖，是边缘智能与普惠AI的重要实践方向。