字节跳动Seed发布SeedRealtime：原生音视频全双工大模型

原生融合：打破传统级联架构瓶颈

字节跳动Seed团队正式发布SeedRealtime——一款原生支持音频、视觉与文本三模态输入输出的全双工大语言模型。与当前主流方案依赖ASR（语音识别）、VLM（视觉语言模型）和TTS（语音合成）模块级联不同，SeedRealtime将感知、理解、决策与表达全部集成于单一同构模型内，实现真正端到端的实时流式处理。其核心目标是消除级联架构固有的延迟累积与模态间信息衰减，并将话轮转换（turn-taking）逻辑内置于模型本身，不再依赖外部语音活动检测器（VAD）。

四大实测场景验证突破能力

Seed团队公开了七个演示案例，其中四个为关键能力验证：

• 跨模态身份绑定：在嘈杂的多人聚餐场景中，模型能实时将新介绍的人名与对应人脸匹配，并持续将不同说话者的声音与其身份关联；当多人就旅行偏好发表矛盾意见时，模型可准确归因并据此生成协调方案。

• 基于指令的主动发声：用户在河北博物院参观时要求“看到青铜屏风座时提醒我”，模型持续分析摄像头画面，在目标文物入框瞬间自主触发语音提示；类似行为亦见于阅读论文场景——模型跟踪快速翻页，自主定位‘3.4 Implementation’章节，停顿后朗读其中学习率、动量与权重衰减参数。

• 基于视觉状态的主动纠错：观察意式浓缩咖啡制作流程时，模型在发现整豆直接装入粉碗后立即打断操作；随后通过分析萃取液表面油脂（crema）的颜色与体积，建议将萃取时间缩短2–3秒。

• 离屏记忆与干扰抑制：在北京大兴机场候机厅，旁人讨论航班信息不会触发响应；而当用户真正提问时，模型能调用已滚动消失的出发屏数据作答，并主动联网查询行李转盘位置。

当前落地状态与开放程度

SeedRealtime目前已部署于字节跳动旗下消费级AI助手App“豆包”（Doubao），面向终端用户实际提供服务。但截至目前，ByteDance未发布任何技术白皮书、未披露模型参数规模、未开源模型权重，亦未在火山引擎（Volcano Engine）或BytePlus平台开放商用API接口。第三方开发者暂无法接入或集成该模型。

不过，Seed团队强调其提供的核心价值已部分可复用：一是经过真实产品验证的参考架构设计，二是为实时音视频交互类产品设立的新技术标尺。据字节内部人工评测，SeedRealtime在对话节奏自然度方面相较传统级联方案提升显著（问题频次减半），但未公布具体基准测试结果或端到端延迟数据。

编者观点：SeedRealtime虽暂未开放技术细节，但其将全双工交互逻辑深度内化于统一模型的设计范式，为中国AI厂商突破多模态实时交互工程瓶颈提供了明确路径——摆脱对黑盒组件拼接的依赖，转向原生架构创新。