英伟达发布开源全双工语音模型VoiceChat 11B

全双工语音建模新范式

NVIDIA正式发布NemotronLabs VoiceChat 11B——一款开源的110亿参数端到端语音到语音模型，专为实时全双工对话设计。不同于传统将自动语音识别（ASR）、大语言模型（LLM）和文本转语音（TTS）分阶段串联的架构，该模型在单一神经网络中同步完成流式语音理解与语音生成，消除了多模型编排与API交接带来的开销。在Full-Duplex-Bench 1.0基准测试中，其平滑轮转延迟（turn-taking latency）实测为448毫秒；用户可在代理发言中途插入（barge-in），模型在480毫秒内完成接管，接管率达1.00。

首个支持实时工具调用的开源全双工模型

VoiceChat 11B是首个面向开源社区的、支持对话中持续运行工具调用的全双工模型。它通过独立输出通道发送`<TOOLCALL>`指令，并引入‘等待提示语’（on-hold lines）机制：当模型触发工具调用时，立即由人工预设的语音片段填充空白，避免对话静默。工具响应以`<TOOL_RESPONSE>`形式返回。NVIDIA明确限定：单次会话最多调用5个工具；不支持并发调用多个工具；用户不可在工具执行过程中打断代理；系统提示词与工具响应须为ASCII编码且适配TTS输出。

架构与训练数据

模型采用混合Mamba/Transformer架构，整合四大组件：源自Nemotron-Speech-Streaming-En-0.6b的Fast Conformer语音编码器（持续处理16kHz输入流）；Nemotron Nano v2 LLM主干网络（处理音频token并预测文本token）；NVIDIA自研TTS解码器与音频编解码器（生成22.05kHz语音波形）；以及专用工具调用输出通道。训练数据涵盖约55万小时真实与合成语音，基于SALM-Duplex与Audio Flamingo 3构建。

性能表现与适用边界

在Full-Duplex-Bench 1.0上，模型取得平滑轮转TOR 0.82（448ms）、用户打断TOR 1.00（480ms）、停顿处理TOR分别为0.153（合成数据）与0.255（Candor数据集，数值越低越好）。在AU Harness BFCL-v3语音工具调用评测中，简单调用准确率58.5%，多步调用62.5%，并行调用42.5%，并行多步调用27.5%，无关请求过滤率89.6%，平均准确率56.1%。在Full-Duplex-Bench v3中，工具选择准确率82.5%，参数提取准确率44.2%，pass@1达标率33%。模型在VoiceBench与Full-Duplex-Bench 1.0两项开放榜单中均位列第二。

部署现状与使用门槛

当前版本为‘部分可用’：权重与Docker容器均已开源，采用OpenMDW-1.1宽松许可协议，但NVIDIA明确声明检查点‘仅适用于研究目的’。已知问题包括：音频上下文上限约两分钟；连续多轮对话后易退化为不可恢复的乱码；单轮结束可能出现自说自话（runaway self-talk）；用户语音转录存在漏词现象。硬件要求为单块至少80GB显存GPU（如A100、H100、RTX 6000 Pro或B200），运行环境需x86_64 Linux系统。目前无托管API服务，亦无第三方推理平台提供支持，无GPU资源团队无法实际评估。

目标场景与潜在用户

适用领域包括客服中心与客户体验平台、车载舱内助手、零售与得来速点餐系统、电信IVR系统升级、游戏NPC语音交互及无障碍辅助工具。典型应用涵盖支持插话的语音代理、对接内部API的语音前端、实时查询类助手（天气、价格、订单状态）以及全双工延迟基准测试框架。

> 编者观点：该模型虽未达生产就绪，但首次将全双工交互、低延迟轮转与工具调用三者在开源框架下统一实现，为中国语音AI创业公司与企业创新实验室提供了高价值技术验证基线——尤其在需强实时性与自然中断能力的垂直场景中，值得纳入技术选型早期评估。