阿里通义发布Qwen-Audio-3.1-Realtime全双工语音模型

全栈音频能力上线：5模型覆盖ASR、TTS与实时交互

阿里巴巴通义（Qwen）团队正式发布Qwen-Audio-3.1系列，包含5个协同工作的音频模型，覆盖自动语音识别（ASR）、文本转语音（TTS）及实时语音交互三大方向。其中核心模型为Qwen-Audio-3.1-Realtime，专为需调用外部工具的语音智能体（voice agents）设计，具备全双工（full-duplex）能力——即能边听边想、动态决定何时介入、中断或继续发言。该模型已作为托管API在QwenCloud平台上线，通过WebSocket提供服务；官方未宣布开放模型权重。

部署规格与商业化细节

Qwen-Audio-3.1-Realtime-Plus在QwenCloud模型页明确支持文本与音频双模态输入/输出。上下文窗口达262K tokens（最大输入245K，最大输出16K），默认限流为每分钟60次请求、100K tokens。计费按token粒度：音频输入$6.4/百万tokens，文本输入$0.8/百万tokens；音频与文本混合输出统一计价$24/百万tokens（纯文本输出不收费）。关键功能包括函数调用（function calling）、内置网页搜索、结构化输出、上下文缓存（context cache）及微调支持。

配套模型Qwen-Audio-3.1-ASR-Flash-Filetrans面向离线长音频转录场景，支持热词定制、说话人分离、标点恢复、多语种及中文方言识别，定价为$0.15/百万输入tokens、$0.47/百万输出tokens。

双模型协同架构：决策与生成解耦

系统底层由两个共享音频编码器与大语言模型（LLM）主干的子模型协同运行：其一为「全双工决策模型」，负责实时判断应继续倾听、主动发言、停止或恢复对话；其二为「语音转文本生成模型」，将决策后的意图转化为文本响应；最终由「上下文感知语音渲染器」将文本流式合成为语音，该模块显式建模对话历史、语音线索（如语调、停顿）及声学上下文。

三层训练范式：Think、Act、Speak and Coordinate

训练体系分为三个逻辑层：

• Think层：采用M²-OPD（Multi-Modal On-Policy Distillation）技术，以千万小时级音文配对数据为锚点，将音频模型重新对齐至源文本LLM。通过Text Teacher与冻结的Audio Reference联合打分学生模型自身推理轨迹的每个token，实现“在线策略蒸馏”（on-policy distillation），而非简单模仿预设答案。后续引入共情、实用意图、声学场景三类领域专家，经GRPO（Generalized Reinforcement Policy Optimization）训练后融合为单一可部署模型。
• Act层：每个训练域均绑定专属工具池、有状态JSON数据库及自然语言业务策略。任务结果严格定义为三类之一：合法写入（write）、有依据的拒绝（justified refusal）或不支持请求（unsupported request）。评估聚焦终端状态一致性、允许写入范围及行为断言，流畅回复无法掩盖状态校验失败。GRPO在对话级、里程碑级和回合级分层给予奖励；搜索训练中引入查询冗余惩罚项：r_query = q × min(1, n_ref/n_pred)，使平均单次搜索查询数从4.37降至1.05。
• Speak and Coordinate层：专注语音交互时序控制。在Full-Duplex-Bench v1.5上，对他人交谈背景音的误响应率从0.13降至0.03；v3.0中填充词（filler）率由0.7590压至0.2960。但存在权衡：中断后非预期恢复率从0.035升至0.130；中断响应延迟为1.116秒，高于GPT-Realtime-2的0.383秒。

性能对比与基准表现

相较前代Qwen-Audio-3.0：Audio MultiChallenge得分从47.12升至52.21；14语种BBA平均准确率由81.7%提升至88.1%；FLEURS WER（词错误率）从9.01%显著改善至3.98%。τ-Voice适配版任务成功率由78.4%升至82.0%，对背景语音的误响应率在v1.5测试中从73.0%骤降至13.0%。需注意，τ-Voice指标基于半双工ASR适配，不可直接对标官方全双工结果。在50轮人工红队测试中，GPT-Realtime-2仍以96.00%成功率领先于Qwen-Audio-3.1-Realtime的92.00%。