英伟达发布开源说话人日志模型Nemotron 3 Diarization

开源发布：支持8说话人、实时流式处理

英伟达正式在Hugging Face平台开源Nemotron 3 Diarization模型。这是一款专用于说话人日志（speaker diarization）的开放权重模型，核心能力是回答‘谁在何时发言’这一问题。该模型参数量为1亿，可同时区分最多8个说话人，包括存在语音重叠的复杂场景。其单一检查点（checkpoint）同时支持离线音频处理与实时流式输入，具备明确的工程落地能力。

模型权重依据OpenMDW License 1.1发布，明确允许商业用途。运行环境为Linux系统，需搭配NVIDIA NeMo框架，并依赖Ampere、Ada Lovelace、Hopper或Blackwell架构GPU。

为何说话人日志不可或缺？

自动语音识别（ASR）仅输出文字内容，无法标注发言者身份。缺乏说话人归属，下游任务如会议摘要、责任归属判定、异议识别等将失效。说话人日志输出每个说话者活跃的时间区间，与ASR结果对齐后，即可生成带说话人标签的完整转录文本。当前主流会议工具、通话分析平台、播客处理流水线及语音智能体的记忆模块，均依赖此关键环节。

架构升级：从4人到8人，专注真实多语者场景

相较英伟达此前发布的Streaming Sortformer模型（diar_streaming_sortformer_4spk-v2.1，支持4说话人），Nemotron 3 Diarization将容量翻倍至8人。官方明确指出，该模型针对的是现实世界中典型的‘混乱多语者音频’——即多人频繁插话、同时发言的高难度场景。

模型接收16 kHz单声道音频（支持.wav、.flac、.opus、.mp3格式），将其转换为步长10 ms的梅尔频谱图特征；特征经8倍堆叠后形成80 ms编码帧。主干为31层Transformer编码器，采用旋转位置编码（RoPE）。后续通过一维卷积层（Conv1D）将预测结果上采样回10 ms分辨率，最终输出维度为[T, 8]的概率张量，表示每帧中各说话人的活跃概率。该设计天然支持重叠语音建模：若两人同时发言，对应帧中两个通道概率值将同步激活。

模型沿用Sortformer的‘按到达顺序分配通道’策略：首个新出现的声音被标记为通道1，次之为通道2，依此类推。该机制保障流式处理中说话人标签跨分块稳定性，避免每段音频都需重新匹配身份。

流式推理依赖两类内存机制：‘按到达顺序说话人缓存’（AOSC）保存历史说话人信息；FIFO队列提供近期帧上下文。所有说话人标签均为匿名编号，真实身份映射由下游应用自行完成。

四档延迟配置与实测性能

模型提供四种预设延迟配置，输入缓冲延迟 = （chunk + right context）× 80 ms。实测基于DIHARD III全集DER（Diarization Error Rate）及batch-32编译吞吐量（RTFx）：

• 离线模式：缓冲延迟30.4秒，DER 12.73%，吞吐15,113× RTFx
• 低延迟：1.04秒，DER 13.18%，吞吐865×
• 极低延迟：0.64秒，DER 13.28%，吞吐579×
• 超低延迟：0.32秒，DER 13.55%，吞吐292×

注：上述延迟不包含计算、网络及ASR耗时；技术上可支持80 ms缓冲，但0.32秒为官方推荐最低设置。

基准测试全面领先

在Voice Arena首轮Diarization-Bench评测中，该模型在12个系统、17种配置中综合排名第一。测试涵盖139段英文对话（约22小时），以14.72% DER成绩领先第二名（19.3% DER），实现约24%相对误差下降。英伟达提示，最终排名待Voice Arena完成V1版评估后确认。

对比4说话人基线模型（1.04秒延迟），Nemotron 3在全部8项评测子集上DER均下降，相对降幅从CALLHOME-Part2的9.0%至NOTSOFAR1 MHM的65.2%不等，8项未加权平均降幅达41.0%。唯一退化项为2说话人CALLHOME离线场景（30.4秒），DER由5.68%微升至5.98%；而同数据集的CALLHOME-Part2仍从10.32%改善至9.10%。吞吐方面，离线模式下RTFx达15,113×，较基线2,619×显著提升。测试使用BF16精度，在RTX PRO 5000 GPU上配合torch.compile()执行，数据为批处理指标，非单流端到端延迟。