阿里通义千问发布Qwen3.8-LiveTranslate实时同传模型
阿里巴巴通义千问团队正式推出Qwen3.8-LiveTranslate,新一代实时语音同传大模型。该模型支持60种语言理解、29种语言语音合成,平均延迟(LAAL)降至2.3秒,较前代降低18%。采用创新Interleave架构,新增说话人区分、双语同步显示与长上下文消歧能力,已上线阿里云Model Studio与QwenCloud提供WebSocket API调用。
全新实时同传模型正式发布
阿里巴巴通义千问团队正式发布Qwen3.8-LiveTranslate——一款面向实时场景的下一代同步口译大模型。该模型可接收直播语音流(支持可选视频帧输入),在讲话者尚未结束发言时,即同步输出翻译文本及语音。其核心突破在于全新设计的Interleave架构,在显著降低延迟的同时,提升译文的忠实度、流畅性与简洁性。官方数据显示,关键延迟指标LAAL(Length-Adaptive Average Lagging,长度自适应平均滞后)从2.8秒降至2.3秒,降幅约18%。
架构革新:重新定义实时性与质量平衡
同步口译长期面临延迟与质量的权衡困境:等待更久可获取更多上下文,但损害实时体验;过早输出则易导致误译或冗余。Qwen3.8-LiveTranslate通过Interleave架构重构处理流程,使模型能在语音流持续输入过程中动态分段理解、生成与修正。LAAL指标的设计亦规避了对过度生成系统的不当激励,更真实反映用户感知延迟。该模型被定位为Qwen3.8-LiveTranslate-Flash的实时版本,依托Qwen-Omni多模态技术栈,融合大规模跨语言、跨模态对齐数据及视觉增强能力。Flash版本同时支持离线音视频翻译。
三大新增核心能力
- 实时说话人区分(Speaker Diarization):可自动识别多方对话中的不同讲话者,并通过更稳定的语音克隆技术保留各说话人声纹特征。API提供多种克隆模式,包括“always”模式——在多说话人会话中每次响应前均重新克隆对应声线。
- 同步双语显示(Synchronized Bilingual Display):源语言转录文本与目标语言译文实时并列呈现。API中,源语转录与译文作为独立事件流分别推送,便于前端精准对齐。
- 长上下文指代消歧(Long-Context Disambiguation):利用整场会议的历史对话,确保专有名词、术语等实体翻译前后一致。例如会议开场引入的姓名,在后续翻译中将保持统一译法。
多语言、多模态与输入输出支持
模型支持60种语言的理解能力,其中29种语言具备语音合成能力(输出音频+文本),其余31种仅输出文本。语音合成覆盖中文、英语、阿拉伯语、德语、法语、西班牙语、日语、韩语、印地语等主流语种。输入支持音频流及可选图像帧(如唇动、手势、屏幕文字),有助于嘈杂环境或歧义词识别;文档建议每秒输入图像不超过2帧。用户还可配置热词(hotwords),将源语特定术语映射为固定译文,上限建议1000条。
API接入、定价与使用限制
开发者可通过WebSocket实时API调用,模型ID为`qwen3.8-livetranslate-flash-realtime`。默认启用说话人检测(speaker_detection)进行语句切分,客户端持续推送音频流,服务端实时返回结果。默认音频采样率为输入16kHz PCM、输出24kHz PCM,语音角色默认为Tina。用户需显式设置`session.output_modalities`指定输出模态(仅文本,或文本+音频),并在会话结束前发送`session.finish`指令,否则末段内容可能丢失。新加坡区定价为:音频输入7.50美元/百万token、图像输入0.55美元/百万token、文本输出20美元/百万token、音频输出30美元/百万token;北京区价格更低(分别为5.653、0.466、14.133、22.613美元)。音频输入约消耗7 token/秒,音频输出约12.5 token/秒;一小时双向语音输入+输出成本约1.54美元(不含文本与图像token)。上下文窗口总计53,248 token(输入49,152,输出4,096),默认限流为每分钟10次请求、10万token。
功能限制与适用范围
当前版本不支持函数调用、结构化输出、批量推理及微调。模型仅通过阿里云Model Studio与QwenCloud以API形式开放,无本地部署选项。
本文为企业智脑(优秘智能)编译整理自公开资讯,信息与观点以原文为准,仅供参考。阅读原文(MarkTechPost) →