Black Forest Labs发布FLUX 3多模态基础模型
Black Forest Labs推出FLUX 3,首个统一权重支持图像、视频、音频生成与机器人动作预测的多模态基础模型。其基于Self-Flow架构,通过跨模态约束学习提升物理一致性,在10秒文本生成视频任务中显著优于Luma Ray 3.2等主流模型。
全模态统一建模:FLUX 3的核心定位
Black Forest Labs(BFL)正式发布FLUX 3——一款原生支持图像、视频、音频及机器人动作预测的多模态基础模型。这是FLUX系列中首个仅凭单一权重集即可完成视频生成、音频合成与动作预测的模型。BFL研究团队指出,单一模态无法完整刻画世界:图像定格空间结构,视频恢复时间维度并揭示物理动力学,音频则反映机械事件与声学信号间的因果关系;三者实为同一底层现实的不同‘有损投影’。FLUX 3正是首个完全基于该理念构建的模型,通过联合训练使各模态相互约束——声音必须匹配撞击事件,运动必须符合质量守恒。
技术底座:Self-Flow的规模化演进
FLUX 3建立在BFL此前提出的Self-Flow方法之上。Self-Flow将流匹配(flow matching)目标与自监督特征重建目标相结合,实现多模态生成与理解的统一架构。GitHub上公开的参考实现采用Apache-2.0协议,基于SiT-XL/2架构,支持逐token时间步条件控制;训练时采用25%逐token掩码率,并通过EMA教师模型(第20层)向学生模型(第8层)进行自蒸馏。需注意,当前开源的ImageNet 256×256研究检查点并非FLUX 3本身,而是Self-Flow的早期验证版本。BFL明确表示,FLUX 3是在同一方法论基础上,通过‘显著扩大计算与数据资源’,首次实现图像、视频、音频三模态同步训练的成果。Self-Flow方法本身于2026年3月提出,本次发布的新意在于规模跃升而非方法创新。
视频能力:端到端生成与交互式控制
FLUX 3 Video支持单次生成最长20秒、原生带音频的视频片段。功能覆盖文本到视频、图像到视频、参考视频到视频、关键帧到视频(支持可控过渡),以及输入视频+音频后的生成式续写。此外,BFL还列出多项增强能力:多语言对话集成、智能体链式编排多镜头序列、以及具备动画效果的强排版文字生成。团队特别强调其在人类面部表情建模和声-物因果关联(如敲击声与物体形变同步)方面的突出表现。
性能对比:人类偏好测试结果
BFL公布了初步的人类偏好评估结果:在720p分辨率、10秒时长的文本到视频生成任务中,FLUX 3在93%的对比中胜过Luma Ray 3.2,77%中优于Runway Gen-4.5;对Grok Imagine Video、Kling v3 Pro、Happy Horse v1及1.1版本的胜率分别为69%、60%、59%和57%;与Seedance 2.0和Gemini Omni Flash的对比结果接近随机(52%),表明在这些基准上已处于同一量级。
编者观点
FLUX 3凸显了多模态AI从‘拼接式融合’向‘物理一致的统一表征’演进的趋势——中国企业若聚焦具身智能或工业数字孪生等需强跨模态协同的场景,可重点关注此类以物理约束为先验的统一架构,而非单纯堆叠单模态模型。
本文为企业智脑(优秘智能)编译整理自公开资讯,信息与观点以原文为准,仅供参考。阅读原文(MarkTechPost) →