PolyAI发布Dialog-RSN-1：端到端音频原生对话模型

音频原生架构：告别转录依赖

PolyAI正式发布Dialog-RSN-1——一款真正‘音频原生’（audio-native）的对话模型。与传统方案依赖ASR转录文本不同，该模型直接接收并理解原始语音流，将话轮判断（turn-taking）、自动语音识别（ASR）、工具函数调用与响应生成四大能力统一于单个模型中。目前，该模型已在多个客户生产环境中实时处理呼入电话。

值得注意的是，其‘音频原生’特性仅体现在输入侧：模型从原始音频中提取语义与交互意图；而文本转语音（TTS）仍由独立系统完成，确保输出语音的发音、语调、语速等参数完全可控。模型采用按需请求式（request-based）推理模式，而非持续驻留GPU的全双工流式推理，显著降低硬件资源占用。

实时性与话轮控制机制

Dialog-RSN-1将话轮状态作为首个输出token，明确标识当前交互阶段为EMPTY（静默等待）、ONGOING（用户仍在说话）或COMPLETE（用户话语结束）。PolyAI实测显示，端到端响应延迟稳定低于300毫秒；在某连锁餐饮集团部署中，任务完成率（containment）提升11%；在一家保险公司场景中，整体延迟下降37%。

该模型首发仅支持英语，通过PolyAI自有平台交付，不开放模型权重，亦无公开API。现有客户可立即启用；新客户需申请早期访问权限。目标客户明确指向大型高呼入量企业——PolyAI披露，截至2025年12月完成8600万美元D轮融资时，已服务超100家大型企业客户，拥有2000+个实时生产部署。

行业适配与典型应用场景

PolyAI聚焦垂直行业高价值场景，覆盖餐饮、保险、金融服务、医疗健康、酒店、零售、电信、旅游及公用事业等领域。核心应用包括预订与预约、账单与支付、身份认证、智能话务路由、订单管理及故障排查等高频客服任务。

架构设计：平衡性能与可控性

PolyAI指出，当前主流两类架构均存在固有妥协：级联式（cascaded）方案先由ASR生成文本再送入LLM，导致语气、停顿、识别置信度等关键声学线索丢失；而GPT Realtime、Gemini Live等端到端语音模型虽保留音频，却将语音合成深度耦合进模型，牺牲发音控制灵活性，且全双工模式长期占用GPU资源。

Dialog-RSN-1采取折中路径：输入侧直连原始音频，输出侧解耦TTS。其推理由高召回率语音活动检测（VAD）与轻量定时器协同触发——仅凭低成本声学信号决定是否启动模型；真正的对话状态决策（如是否打断、何时回应）则由模型基于完整上下文自主完成。

训练与工程优化

模型基于开源多模态基础模型（经评估包括Gemma、GPT-OSS、Qwen与Mistral），使用PolyAI内部数据开展监督微调与强化学习（RFT）训练。为达成A100 GPU上<300ms延迟目标，候选模型参数量锁定在8B稠密至30B稀疏区间。关键技术包括：用户讲话期间预填充注意力缓存、追加式提示模板（减少缓存失效）、呼叫会话GPU绑定调度、自研推测解码器（平均接受3.9词/步）以及RFT中习得的自动推理能力。语音转录任务被后置于响应生成或工具调用之后，并与语音合成并行执行。

基准测试表现

PolyAI采用内部构建的Dialog-Eval基准进行评估（计划开源），每个样本截取通话中一个决策点，仅评分单一原子级下一步动作（非整轮对话 rollout）。结果显示，Dialog-RSN-1是当前得分最高的实时可用模型；级联架构在音频感知任务上的理论天花板约为77分；GPT Realtime 2.1在音频感知样例中表现与级联方案相当。在语音转录准确率（WER）方面，gpt-4o-transcribe在获得同等上下文后WER从7.8%降至6.9%，而Dialog-RSN-1进一步降低该指标。非英语及富文本网页聊天场景，PolyAI仍推荐使用Raven 3.5模型。技术报告与Dialog-Eval论文正在筹备中。

编者观点：Dialog-RSN-1凸显了企业级语音AI从‘文本代理’回归‘语音本体’的技术转向——对国内智能客服厂商而言，与其堆砌ASR+LLM+TTS三段式管线，不如探索音频输入端的联合建模与低延迟工程闭环，尤其在金融、政务等强实时、高合规场景中更具落地价值。