Dyna Robotics发布Dyna-2:基于100万小时人类视频预训练的世界动作模型
Dyna Robotics推出Dyna-2世界动作模型(WAM),在超100万小时第一人称人类视频上预训练,旨在突破机器人学习长期依赖人工标注动作数据的瓶颈。该模型采用视频-动作联合去噪架构,支持零样本迁移到双臂机器人平台,已在酒店、餐饮等场景落地部署。目前仅以整机方案交付,不开放模型权重或API。
世界动作模型:用人类日常视频驱动机器人操作
Dyna Robotics正式发布Dyna-2——一款面向机器人操作的世界动作模型(World-Action Model, WAM)。其核心突破在于:完全基于超过100万小时的第一人称(egocentric)人类视频进行预训练,相当于约170年连续清醒状态下的视觉经验。此举直指机器人学习长期存在的瓶颈——高质量动作标注数据极度稀缺,传统方法依赖遥操作(teleoperation)人工采集,成本高、扩展难。Dyna-2首次系统验证:未经动作标注的普通人类视频,能否成为可泛化的机器人行为先验?
架构与训练:视频与动作的协同建模
Dyna-2构建于视频扩散(video-diffusion)主干网络之上,是一个统一的生成式模型,可联合或分别对未来的视频帧与动作片段进行去噪。其架构为混合Transformer结构:视频与动作被独立分词(tokenized),各自接入专属的DiT(Diffusion Transformer)层堆栈,并通过跨注意力机制相互交互。本体感知信号(proprioception)直接输入动作Transformer;视频token采用因果掩码,动作token则使用双向自注意力,并关注上下文视频token;视频token可交叉关注文本,但文本不直接影响动作token。训练采用流匹配(flow matching)范式,视频损失与动作损失共享主干网络,但分别建模为两个独立的边际速度场。关键设计在于:动作网络在推理时从不接收加噪后的视频隐变量,确保策略始终具备实时反应性——既不生成也不关注预测的未来视频。动作Transformer刻意设计得更浅,并较早融入视频流,团队称此举显著降低端到端延迟,且未牺牲性能。
三大缩放规律:从人类视频到机器人任务的实证迁移
研究团队构建了严格控制的数据阶梯:精确截取1,000、10,000、100,000和1,000,000小时子集,各子集保持原始数据源比例一致,仅增加数据量,排除分布偏移干扰;所有实验使用同一套固定的100小时人类视频验证集评估。结果发现:
1. 人类数据存在明确缩放律:四项指标均随数据量单调提升并符合幂律关系,例如保留集MSE = 0.0691·D^-0.0184(R²=0.919); 2. 该规律成功迁移到未见过的机器人数据:同一组检查点在两个静止式双臂YAM平台上零样本测试39项任务(含12项内部任务与27项来自xdof ABC的公开任务),零样本动作MSE = 0.306·D^-0.0713(R²=0.884),且在10k至100k小时区间出现性能拐点; 3. 视频是独立且关键的泛化轴:联合视频-动作去噪在全部39项任务上均优于纯动作建模;固定5万小时动作标注数据,仅增加纯视频数据,零样本机器人MSE从0.340降至0.120。值得注意的是,人类视频验证误差未改善——视频数据的价值明确体现在跨具身(cross-embodiment)泛化能力上。
实际部署与产业落地
Dyna-2当前不提供开源权重、API或商用许可,仅作为厂商托管系统交付:客户需采购整套Dyna机器人单元,而非自行部署模型。据公司2026年8月10日公告,前代产品Dyna-1已实际部署于酒店、餐厅及洗衣店等场景。目标客户明确指向中型服务运营商及拥有多网点、重复性静态操作需求的企业。行业覆盖住宿、商用洗衣、餐饮服务、轻装配/分拣及设施清洁;14项后训练任务均源自真实作业,包括垃圾托盘清空、急救包组装、周转箱搭建、食物舀取、绳结系扎、衣架准备及冰箱内指定饮品抓取等。在三类机器人本体(6-DOF平行夹爪机械臂、同款机械臂+20-DOF灵巧手WUJI-2、半人形原型机)上,经每任务最多10小时机器人数据微调后,平均归一化得分从20%(1k小时)提升至53%(1M小时),其中9项任务在百万小时规模表现最佳。典型案例如‘保险箱钥匙旋转’任务:10万小时内成功率均为0%,之后跃升至90%;‘瓶盖拧开’仅用约10分钟演示数据,成功率即达50%。对比生产级VLA模型Dyna-1(基于Qwen3-VL-4B初始化),早期Dyna-2在7项任务上平均成功率提升55%,评分提升12%;在客户现场实测中,Dyna-2通过率87%,远高于Dyna-1的46%(二者在实验室环境均接近100%)。此外,其蒸馏管线将视频采样耗时从10,203毫秒压缩至110毫秒。
编者观点
中国机器人企业可重点关注“无标注视频驱动具身智能”的新范式——Dyna-2证明大规模人类行为视频本身蕴含强泛化先验,这为降低机器人训练门槛、加速垂直场景商业化提供了全新技术路径,尤其利好缺乏专业遥操作团队的中腰部服务商。
本文为企业智脑(优秘智能)编译整理自公开资讯,信息与观点以原文为准,仅供参考。阅读原文(MarkTechPost) →