谷歌发布Gemini 3.5 Transcribe语音识别模型
谷歌正式推出Gemini 3.5 Transcribe语音转文本模型,包含实时流式(Live API)与离线批量(Interactions API)两个独立API端点。实测平均词错误率(WER)分别为4.0%和2.6%,支持超85种语言及中句代码切换。模型仅以托管API形式提供,无开源权重或自托管选项。
双端点架构:实时流式与离线批量分离
Gemini 3.5 Transcribe并非单一模型服务,而是由两个功能边界清晰、互不兼容的API端点组成:`gemini-3.5-transcribe-live`通过Live API支持双向流式语音输入,适用于实时场景;`gemini-3.5-transcribe`则通过Interactions API处理预录制音频文件。二者在能力、调用限制、计费方式上完全独立——不共享功能集,也不共用配额或定价策略。开发者需根据具体需求明确选择路径,无法在单次调用中混合使用。
实时流式API:低延迟但能力受限
Live API面向亚秒级连续转录,支持interim_input_transcription(说话过程中的推测性片段)与input_transcription(话轮结束后的最终结果)。音频输入要求为16位PCM、16kHz单声道、每100ms分块传输。支持自动/混合/手动语音活动检测(VAD),并提供临时令牌机制,使移动端与Web端可在不暴露API密钥前提下安全流式上传。但存在硬性约束:单次会话最长10分钟;不支持说话人区分(speaker diarization);不提供词级时间戳(word-level timestamps)。
离线批量API:高精度增强功能
Interactions API覆盖流式无法实现的能力:支持说话人区分、词级起止时间偏移(word-level start/end offsets),以及自定义词汇表偏置(custom vocabulary biasing)。词汇表最多容纳1000个术语,实测效果在100词以内最佳。标准请求支持最长60分钟音频;若启用说话人区分或词级时间戳,上限降至30分钟。
Verbatim与Smart双模式:语义清洁 vs 原始保真
两个端点均提供两种输出模式。`verbatim`为默认模式,保留所有填充词、重复、中断与自我修正;`smart`模式则主动清理不流畅表达,内联解析口语自我纠正,并应用结构化格式。例如,对‘Um, so for the meeting, I think we should, uh, invite Alice and, wait no, Bob and Carol.’,verbatim原样返回,smart则输出‘For the meeting, I think we should invite Bob and Carol.’。关键限制在于:smart模式不可与词级时间戳或说话人区分同时启用——精度、结构化与语义净化三者不可兼得,需按用例取舍。
性能与多语言能力
据第三方评测机构Artificial Analysis测试,Gemini 3.5 Transcribe在通用基准下平均词错误率(WER)为:流式4.0%,离线批量2.6%;在多语言FLEURS基准中对应为5.50%与5.04%。相较前代Chirp 3模型,最终转录完成时间提升70%。语言覆盖超85个语种及地区变体,支持无需配置的自动语种检测与中句级代码切换(mid-sentence code-switching)。
商业路径与生态集成
模型仅以托管API形式开放:无开源权重,无本地部署选项。开发者可通过Google AI Studio免费层起步;中型企业升级至付费层获取更高调用限额;受监管企业则接入Gemini Enterprise Agent Platform,获得专用吞吐量、合规管控与阶梯式用量折扣。目前两类路径均处于公开预览阶段。生态方面,Live API已集成LiveKit、Pipecat、Agora、Fishjam、Vercel及Vision Agents;终端侧已驱动Android版Rambler、macOS版Gemini应用及Google Antigravity,Chrome浏览器支持即将上线。
编者观点:对中国企业的启示
该发布凸显大厂正将语音AI从“单模型单服务”转向“场景化API矩阵”,通过能力解耦与权责隔离强化工程可控性与商业颗粒度——中国企业推进语音产品化时,需同步构建面向实时交互与离线分析的双轨技术栈与商业化路径。
本文为企业智脑(优秘智能)编译整理自公开资讯,信息与观点以原文为准,仅供参考。阅读原文(MarkTechPost) →