Meta发布Muse Voice Transcribe：单模型实现实时语音转写、说话人区分与断点检测
Meta Superintelligence Labs推出Muse Voice Transcribe，首个将流式ASR、20+说话人声纹区分（diarization）和语音终点检测（endpointing）融合于单一自回归模型的实时音频感知系统。该模型已上线Meta Model API，按$3.00/1000分钟计费，目前驱动Meta AI for Mac及Muse Code的语音输入功能，但未开源权重，仅支持托管调用。
三合一架构：终结传统语音栈的拼接式延迟
当前多数生产级语音系统由三个独立模块串联构成：一个模型负责语音识别（ASR），一个用于说话人区分（diarization），另一个则判断用户何时停止讲话（endpointing）。每次模块间交接不仅引入额外延迟，还新增故障点。Meta Superintelligence Labs本周发布的Muse Voice Transcribe，将这三项任务压缩至单一自回归模型中，成为Meta首套实时音频感知模型。它在一次前向推理中同步完成流式ASR、支持20人以上的说话人区分，以及端点检测，全程无需后处理。
部署方式：仅限API托管，暂无本地化路径
Muse Voice Transcribe已作为托管服务上线Meta Model API，模型标识为`muse-voice-transcribe-1.0`，定价$3.00每1000音频分钟（即$0.18/小时）。该模型目前已实际应用于Meta AI for Mac和Muse Code的语音听写功能。值得注意的是，Meta未发布任何模型权重或推理代码，因此不存在自托管（self-hosted）部署选项。
技术机制：软令牌流与统一解码环
该模型属于Muse Spark系列多模态自回归模型。音频以80毫秒分块、12.5 Hz频率持续输入；每块被编码为一个“软令牌”（soft token）。模型对每个音频块执行一次二元决策：要么预测`<|next_audio|>`继续收听，要么输出文本token。当预测`<|next_audio|>`时，该占位符随即被下一块真实音频替换；流结束时插入`<|empty_audio|>`标记，模型随即清空剩余文本输出。由于“听”与“写”共享同一解码循环，省去了传统ASR中易漂移的对齐阶段。
自适应延迟：强化学习动态权衡精度与响应速度
因模型自主控制收听节奏，其每个词所依赖的音频上下文长度（即“延迟”）亦可调节：延迟越长，转写越准，但响应越慢。Meta未采用固定延迟策略，而是通过强化学习联合优化——将词错误率（WER）奖励与延迟奖励相乘，训练出一种按词汇难度动态调整延迟的策略。Meta称该策略使模型在“最终转写耗时 vs 准确率”帕累托前沿上，超越Soniox、Cartesia及ElevenLabs现有系统。
统一流式标注：说话人与端点皆为特殊token
说话人区分未引入独立模型，而是通过扩展token集实现：`<|start_of_turn|>`标记潜在说话人切换点，`<|speaker_A|>`至`<|speaker_Z|>`标签标识具体说话人；前者即时触发，后者延迟至音频块末尾才输出。同一说话人的语音可跨多个片段，最终归并至同一标签。端点检测则使用`<|speech_onset|>`（语音起始）与`<|speech_endpoint|>`（语音终止）两个特殊token，与ASR联合训练，并叠加额外奖励信号。
多语言与长上下文能力
模型训练覆盖70余种语言，其中25种经深度验证并推荐首发使用。原生支持句内与句间语码转换（code-switching），对双语混用者尤为友好。支持通过语言提示、关键词及上下文偏置进一步提升准确率。实测可原生处理超1小时音频与20+说话人场景，全程无须切分或后处理。
性能表现：基准测试领先，价格具竞争力
截至2026年9月1日，Muse Voice Transcribe在Artificial Analysis流式语音识别榜单（AA-WER Streaming）与公开声纹区分基准测试中均排名第一。在最终转写WER指标上，其达3.1%（语音结束0.16秒后输出），优于Cartesia Ink-2（3.4%，0.43秒）与ElevenLabs Scribe v2 Realtime（3.6%，0.14秒）；虽略慢于Cartesia Ink-2外挂端点方案（0.07秒），但后者WER升至4.0%。首次部分转写WER为3.6%（0.13秒）。声纹区分平均错误率为17.5%（AMI-IHM/AMI-SDM/VoxConverse综合），显著优于对比组的21.1%–28.6%。价格方面，$3.00/1000分钟低于Cartesia Ink-2的$4.00，亦不足ElevenLabs Scribe v2 Realtime（$6.50）与Deepgram Flux的一半。
编者观点
面向企业级语音交互场景，Muse Voice Transcribe展示了“一体化实时感知模型”的工程可行性——通过统一建模降低系统复杂度与端到端延迟，但其纯托管模式也凸显了大厂对核心AI能力闭环控制的战略意图；对中国语音技术厂商而言，如何在保持开放生态的同时，加速构建具备同等实时性与鲁棒性的自研全栈方案，已成为关键竞争分水岭。