Axis Robotics发布AXIS浏览器数据引擎:含207项机器人操作任务与5万条轨迹
Axis Robotics联合UC Berkeley等机构推出开源机器人数据引擎AXIS,首次实现纯浏览器端远程操控Franka机器人采集数据。该系统已发布含207个任务、50,129条验证轨迹的数据集(2.36TB),支持学术非商用使用。实验表明,基于AXIS预训练可将基线模型LIBERO-Plus性能从83.9提升至88.8。
浏览器即采集平台:打破封闭式数据生产范式
传统机器人操作数据集增长严重滞后于模型发展,主因在于数据收集长期依赖实验室专用硬件、由专家离线完成,最终仅发布一次性的静态基准。Axis Robotics联合加州大学伯克利分校、佐治亚理工学院、南洋理工大学等机构提出新范式——AXIS系统将演示采集环节完全迁移至浏览器端,后端GPU负责渲染、训练与评估,使数据集成为持续演化的活体资源,而非一次性交付品。
技术架构:前后端严格解耦的异构设计
AXIS核心决策是“不对称分工”:前端基于MuJoCo WebAssembly构建轻量级仿真环境,用户通过键盘、鼠标、虚拟摇杆或游戏手柄远程操控Franka Research 3机械臂(平行夹爪);物理步进与Three.js渲染均脱离React UI主线程运行,确保记录的状态-动作样本与仿真时序严格对齐。所有高开销计算——包括8×RTX 4090 GPU集群的实时渲染、8×A100 GPU集群的训练与评估——全部卸载至后端。任务生成亦自动化:TaskGen模块将自然语言指令分解为任务/场景/物体配置,经图像到3D管线获取或生成网格,按真实物理尺度缩放,并输出2.5D场景布局;布局监督器则实时校验约束条件,对不合规对象执行重定位、重定向或再生。
数据集构成与质量管控
当前发布的数据快照涵盖207个任务、50,129个完整操作片段(episodes),以及跨越7类场景的超6万个任务或场景变体。每条轨迹包含结构化元数据:任务描述、机器人本体参数、仿真器版本、机器人与物体状态、动作序列、成功标签,以及第三视角与腕部RGB-D观测数据。论文致谢逾7万名社区贡献者。数据清洗作为标准生产环节:剔除关节变化量低于5e-3的静止样本;采用窗口15、阶数3的Savitzky-Golay滤波器平滑连续运动;以三次样条插值将原始6Hz采样率提升至目标20Hz(Web界面最高支持8Hz)。清洗导致平均加速度下降63.9%(1.3539→0.4885)、平均急动度下降80.8%(11.5899→2.2243),回放成功率相应从100%降至86.2%。清洗后轨迹在IsaacSim中基于打包状态重放(禁用物理步进),仅随机化场景、相机、材质与光照,确保轨迹本身权威性。输出为256×256分辨率、固定第三视角与腕部相机的光线追踪RGB图像,深度图默认关闭。
实验结果:持续预训练显著提升泛化能力
所有实验均以公开的π0.5检查点(PaliGemma Gemma-2B主干+Gemma-300M动作专家)为起点。先在仿真语料库上全参数(无LoRA)持续预训练10万步(10步动作块流匹配损失),再以相同超参在LIBERO上微调3万步。结果显示:π0.5+AXIS-100%在LIBERO-Plus上达88.8总分,较基线π0.5(83.9)提升4.9分,较轨迹数量匹配的RoboCasa365对照组(57.5)高出31.3分,证实性能增益非单纯源于数据量。按数据规模缩放:AXIS-25%、50%、100%分别对应84.7、85.7、88.8,呈稳定上升趋势。各扰动维度增益差异明显:传感器噪声(+13.7)、相机视角(+11.3)提升最显著;背景(+3.7)、机器人位姿(+3.8)、布局(+2.6)次之;光照(−1.7)与语言指令(−1.3)反而下降;相机维度在AXIS-50%时曾短暂跌破基线(68.8 vs. 72.5),后续恢复。
发布现状与使用限制
AXIS训练代码以OpenPI补丁层形式开源;远程操控平台已上线,支持任意现代浏览器访问;Hugging Face托管数据集大小为2.36TB,限非商业学术用途;未发布任何策略检查点(policy checkpoints)。
> 编者观点:AXIS所倡导的“众包式、浏览器原生、持续演进”的数据基础设施理念,为中国机器人AI研发团队提供了规避硬件门槛、加速数据飞轮的新路径,尤其适用于高校与初创企业低成本构建垂直领域操作知识库。
本文为企业智脑(优秘智能)编译整理自公开资讯,信息与观点以原文为准,仅供参考。阅读原文(MarkTechPost) →