DeepMind发布 Gemini Robotics 2：三模型协同实现全身控制、灵巧操作与多机协作

全新物理AI智能层：从桌面操作迈向全身具身智能

Google DeepMind正式发布Gemini Robotics 2——其下一代机器人智能层。该发布标志着技术栈突破桌面级操作局限，首次实现对人形机器人全身体态（从足部到指尖）、多指灵巧操控及多机器人协同作业的统一支持。不同于当前主流机器人依赖预编程或遥操作执行狭窄重复任务、难以适应动态环境、技能无法跨本体迁移的现状，Gemini Robotics 2直面这三大根本性限制。

三大模型分工明确，构成分层具身智能架构

Gemini Robotics 2并非单一模型，而是由三个功能互补、部署层级不同的模型组成：

Gemini Robotics 2（VLA模型）：作为核心动作执行层，是视觉-语言-动作（Vision-Language-Action）模型，将视觉与语言输入实时转化为底层电机指令。它可驱动双臂机器人及全尺寸人形机器人（如Apptronik Apollo 2），并兼容多指手（如22自由度SharpaWave手）与平行夹爪（如Franka Duo平台上的Robotiq夹爪）。

Gemini Robotics ER 2（具身推理模型）：定位为高层“大脑”，是基于Gemini 3.5 Flash构建的视觉语言模型（VLM）。它支持文本、图像、视频、音频的交错输入，上下文窗口达128K tokens，输出文本最多64K tokens。其核心能力包括自然人机交互、物理世界理解与长达数分钟的多步任务规划。目前处于公开预览阶段。

Gemini Robotics On-Device 2（端侧VLA模型）：专为机器人本体低延迟运行优化，基于Gemini Robotics 1.5与Google轻量级Gemma模型开发。输入为文本、图像及机器人本体感知数据（数值型），输出为直接可执行的动作指令（数值型），目前未开放访问。

系统设计采用工具调用范式：ER 2负责任务规划与进度追踪，并将具体动作执行委托给注册为“工具”的VLA模型；开发者可接入导航API、VLA接口等低层控制模块，并向模型流式输入多模态信号。

首次实现全身体态控制：Apollo 2实测案例

此前Gemini Robotics系列仅支持人形机器人上半身桌面操作。Gemini Robotics 2首次完成端到端全身控制验证。以Apptronik Apollo 2为例，在接收到指令“把浇水壶放入底部绿色收纳箱”后，机器人自主完成行走至桌边、拾取水壶、步行至货架、精准放置于目标位置的全流程。

DeepMind坦承当前短板：运动速度仍有显著提升空间。

灵巧操作能力：多指手与夹爪表现分化明显

Gemini Robotics 2可驱动Apollo 2搭载的五指SharpaWave手完成系绳结、封Ziplock袋等精细操作；亦可驱动Franka Duo平台的标准两指夹爪完成高密度装箱等任务。同一模型检查点在三种硬件配置下测试：Apollo 2+SharpaWave手、Apollo 2+Inspire手、Franka Duo+Robotiq夹爪。

数据显示，多指灵巧操作成功率差异极大：解灯泡达92%，但扎垃圾袋仅44%、封Ziplock袋40%、拧灯泡36%、使用簸箕仅32%；而夹爪在精密插入、工具分拣、通用抓放等任务中成功率稳定在74%–89.6%之间。

ER 2的时序智能：定义‘任务完成’的新基准

DeepMind特别强调ER 2在时序理解上的突破。其开发者X帖文聚焦长期被忽视的难题：如何准确判断任务是否真正完成？

• 进度分类（Progress Classification）：对视频帧流进行0–100%五级进度标注，ER 2准确率达57.4%，优于前代及竞品前沿模型；
• 关键时刻定位（Moment Finding）：识别事件临界点（如咖啡倾倒停止瞬间），准确率91.3%，平均绝对误差仅0.96秒。

此外，DeepMind同步开源新型安全评估基准ASIMOV-Agentic，托管于Hugging Face，遵循CC-BY-4.0协议。