Black Forest Labs发布FLUX 3 Action:7B开源世界动作模型登顶RoboLab-120
Black Forest Labs推出7B参数开源世界动作模型FLUX 3 Action,专为机器人控制设计,在RoboLab-120基准测试中以42.92%任务成功率位居榜首,显著超越NVIDIA Cosmos 3 Nano等竞品。该模型支持联合视频帧与动作预测,兼顾精度与推理效率,并已集成至Hugging Face LeRobot及NVIDIA Jetson平台。
全球首个高性能开源世界动作模型
Black Forest Labs(BFL)——FLUX系列图像模型的开发者——正式发布FLUX 3 Action。这是一款参数量为70亿(7B)的开源权重世界动作模型(World Action Model, WAM),专为真实机器人闭环控制而构建。模型输入包括实时相机帧、机器人本体状态(如关节角度、末端位姿)及自然语言指令;输出则同步预测未来视频序列与下一组机器人动作指令。在权威机器人仿真基准RoboLab-120上,其任务成功率高达42.92%,目前稳居排行榜首位。
性能突破:精度、速度与部署可行性的三重平衡
FLUX 3 Action直面当前机器人AI的核心权衡困境:以NVIDIA Cosmos 3 Nano为代表的WAM虽精度领先(36.8%),但因需生成视频而计算开销巨大;而视觉-语言-动作模型(VLA)如π0.5虽推理迅速,任务成功率却仅28.0%。BFL通过精简骨干网络架构与知识蒸馏技术,在保持联合视频+动作预测能力的同时大幅压缩延迟。实测显示,在B200 GPU上,Cosmos 3 Nano(FP8)每秒机器人运动所需处理时间是π0.5(BF16)的4.7倍;而FLUX 3 Action的Base与Guidance-distilled版本在FP8精度下,相较Cosmos 3 Nano提速1.52–3.95倍。
架构与训练:多模态预训练奠定鲁棒性基础
模型基于多模态FLUX 3骨干网络演化而来。预训练阶段使用图像、视频与音频数据,其中视频数据占比超95%。文本、视频流与机器人状态被统一编码为token,骨干网络的未来token分别解码为视频帧与机器人动作。中期训练混合了预训练数据(36.95%)与动作对齐视频(63.05%),后者涵盖游戏录屏、第一人称手部视频、手持夹爪操作及跨14种机器人本体的遥操作数据。绝大多数机器人数据采用统一的50维末端执行器动作空间(EE50)。预训练被证实至关重要:无预训练时DROID纯微调在RoboLab上成功率不足1%;加入预训练后,同一训练协议下成功率跃升至11.6%。
硬件验证与实际部署支持
在Positronic Robotics开展的盲测中,FLUX 3 Action在Franka机械臂上完成10项DROID任务(各3次尝试),成功率达93.3%(28/30),优于Cosmos 3 Nano(27/30)、DreamZero(20/30)和π0.5(13/30)。模型提供三种推理配置(Base / Guidance-distilled / Step-distilled),均支持BF16与FP8量化。Step-distilled版单步采样,速度提升3.15–4倍,虽成功率下降3.51–4.32个百分点,但在工作站与数据中心GPU上仍比π0.5快1.34–2.28倍。部署方面,FP8量化+文本编码器卸载后可运行于24GB显存卡;完整BF16版需H200等32GB显存设备。BFL已与NVIDIA合作,将模型原生集成至Hugging Face LeRobot框架,并支持NVIDIA Jetson边缘部署。官方文档还提供了基于约200次演示数据学习SO-101抓取放置技能的LoRA微调示例,以及游戏控制、模拟无人机等扩展用例。
开源许可与使用须知
FLUX 3 Action采用FLUX Kommunity License授权,允许非商业用途。模型输出为关节目标值,不含内置速度、力或工作空间限制,应用层需自行实施安全约束。BFL同时开源DROID策略标准配方及SO-101 LoRA微调配方,降低行业复现与定制门槛。
编者观点
FLUX 3 Action的发布标志着开源机器人基础模型正从‘能做’迈向‘好用’——它不追求参数规模竞赛,而是以工程务实主义重构WAM设计范式,在精度、速度与部署成本间取得新平衡,为中国机器人初创企业及高校研究团队提供了高性价比的自主可控技术底座。
本文为企业智脑(优秘智能)编译整理自公开资讯,信息与观点以原文为准,仅供参考。阅读原文(MarkTechPost) →