Code-as-World：将真实视频逆向编译为可执行物理程序的智能体范式

核心主张：像素是证据，而非本体

MirroS技术报告指出，当前主流方法——视频预测模型、3D重建、文本描述——均只能捕捉物理场景的局部表征，却无法还原其内在机制。Code-as-World提出一种新范式：用可执行世界表征（Executable World Representation, EWR） 替代像素、隐变量或文字描述。EWR被形式化为三元组 p = (C, E, A)：

• Composition（构成）：包含物体、几何结构、度量尺寸、质量、摩擦系数、重力等；地板与墙壁被建模为静态物理实体，具备支撑与碰撞能力；
• Evolution（演化）：定义初始状态、外力、接触关系、碰撞事件、终止条件与时长；执行后可展开为完整状态轨迹；
• Appearance（外观）：涵盖相机参数、光照、材质、背景及渲染配置；修改外观不影响底层物理逻辑。

在开源实现中，该三元组编译为标准 `scene.json` 文件，由MuJoCo引擎运行，并支持两种可切换模式：基于运动学姿态的动画引擎，与基于力和接触的物理引擎。

智能体驱动的逆向发现，非单次预测

从视频恢复EWR是一个典型的逆问题，团队将其建模为溯因搜索（abductive search）。一个智能体循环执行五阶段流程：提出假设 → 实例化 → 执行仿真 → 渲染图像 → 验证比对，最多迭代K=5轮。输入视频经SAM 3提取实例掩码与图像平面轨迹，VGGT-Omega估计深度与相机几何，SAM 3D生成逐物体网格。候选仿真结果被投影回原始视角，并在关键帧上对比RGB图像、深度图、掩码与运动轨迹。帧级差异聚合为结构化反馈Δ，指导下一轮修正；若预算耗尽仍未通过验证，则拒绝该假设。

在相同五次评估预算下，该循环在视觉对齐度、物体IoU、轨迹平均位移误差（Traj-ADE）及精度@2%D等指标上，全面优于“Best-of-5”独立采样策略；且结论在两种仿真引擎下均稳定复现。候选视频源自WISA-80K数据集（经运动特征过滤），仿真到真实图像的重渲染采用Wan2.2-VACE与内部视频模型协同完成。

经验证世界作为高精度物理监督信号

训练分为两阶段：

• 第一阶段：监督微调，使用73,335组图像空间问答对（来自RefCOCO/+/g、RefCLEF与GOT-10K），覆盖位置、范围、位移、速度与加速度等像素级物理量；
• 第二阶段：采用GRPO算法，在世界空间VQA任务上进行强化学习，数据源为1,585个文本驱动与988个视频驱动的可执行世界，奖励函数综合归一化数值精度、单位正确性与格式合规性。

训练使用8块NVIDIA H100 GPU。在QuantiPhy验证集（159题，MRA宏平均涵盖2S/2D/3S/3D四类物理推理）上，Code-as-World-VL-4B得分为50.6，9B版本达55.4，27B推理模型为58.6；对比基准包括Gemini-3.1 Flash（54.8）、ChatGPT-5.1（48.4）及最强开源基线Qwen3-VL-32B-Instruct（40.2）。消融实验表明：仅用图像空间监督时，4B/9B得分分别为44.2与50.9；引入世界空间监督后，分别提升至50.6与55.4。像素级定位能力亦同步增强：9B模型在RefCOCO上从63.7升至68.3，在GOT-10K上从20.1跃升至26.6。

开源与部署状态

MirroS已公开GitHub仓库及两个检查点（Code-as-World-VL-4B与VL-9B），基于Qwen3.5-4B/9B微调，采用BF16 safetensors格式，由vLLM服务，提供OpenAI兼容 `/v1` 接口；默认每视频采样16帧，`--max-model-len 4608`。项目当前处于研究与内部原型阶段，具备可部署性。

> 编者观点：该工作为中国AI研发团队提供了「物理可解释性+可编辑仿真闭环」的新路径，提示在具身智能与工业数字孪生领域，应更重视从感知输出向可执行世界模型的范式跃迁，而非止步于表层视频理解。