Open Dreamer发布：Dreamer 4世界模型的开源JAX复现

开源实现：双仓库+实时浏览器Demo

由独立AI研究团队Reactor开发的Open Dreamer正式发布，这是对DeepMind最新世界模型架构Dreamer 4的完整开源复现，全部基于JAX与Flax NNX构建。项目包含三个核心交付物：其一为训练pipeline主仓库（next-state/open-dreamer），集成因果视频分词器、动作条件潜动力学模型、rollout生成模块及FVD（Fréchet Video Distance）评分工具；其二为轻量本地推理仓库（reactor-team/open-dreamer），支持从MP4视频与对应动作文件中逐帧生成画面；其三为部署于Reactor运行时的交互式浏览器Demo，可实时流式渲染生成的Minecraft世界，并通过Game ⟷ Dream切换按钮，将真实游戏画面与世界模型预测帧逐帧交替呈现。

架构设计：统一骨干网与解耦信息流

Open Dreamer采用“一个骨干、两个模型”架构：视频分词器与潜动力学模型共享同一块因果（block-causal）Transformer骨干网络。该骨干交替使用两类注意力机制——空间层（space layers）在单帧内建模像素/patch间关系，时间层（causal time layers）则跨帧传递时序信息。分词器采用Masked Autoencoder（MAE）而非VAE，实现约100×压缩率，且无需KL散度或对抗损失；掩码策略被证实有助于提升潜空间的可扩散性。动力学模型执行下一帧预测，并融合扩散强制（diffusion forcing）、流匹配（flow matching）与快捷路径（shortcut）建模；同时直接预测下一动作。Rollout过程被结构化为每步的三元组（前一动作、当前状态、策略输出），空间注意力在组内运行，因果时间注意力连接跨时间步的组块。关键约束在于：世界模型token无法读取代理token，确保任务与策略信息仅能通过动作影响未来状态。

训练配方：Minecraft级配置细节公开

项目以Minecraft/VPT风格游戏视频为最终标定场景，配置完全公开。动力学模型参数量1.6B，含30层块因果Transformer（d_model=1920，30个注意力头，3个KV头用于分组查询），每第4层为时间注意力层；每时间步含32个可学习寄存器token，packing_factor=2将相邻分词器潜变量打包为单个动力学空间token；时间注意力滑动窗口为192步。训练共200,000步，采用Muon优化器、WSD学习率调度，峰值学习率为3e-4；快捷样本（shortcut/bootstrap）于第100,000步启用，占批处理比例0.25；EMA衰减系数设为0.999。分词器每帧输出512个潜token，瓶颈宽度为16；原始360×640帧经填充至368×640以适配16×16 patch划分；编码器12层（d_model=1536），解码器8层（d_model=1024）；MAE掩码概率上限0.9，LPIPS损失加权0.2并应用于半数时间步。VPT动作被解析为27维二值通道加121类鼠标离散动作，无连续通道。

工程实证：内存墙突破与稳定性攻坚

团队报告模型FLOPs利用率达57–58%，接近健康Transformer训练的60%基准线。基于Roofline模型分析，在NVIDIA B200上，计算/带宽瓶颈分界点为292 FLOP/byte；当单GPU喂入256帧时，负载已越过该拐点。模型状态（参数、梯度、优化器状态、EMA）总计约24 GiB，可容纳于单卡B200，但激活值成为主要瓶颈。经对比数据并行、FSDP、张量并行与序列并行方案后，团队最终选择纯数据并行+激活检查点（activation checkpointing）。数据加载方面，全量数据预分词为.arrayrecord格式，配合Grain框架与GPU侧预取缓冲区解决瓶颈；ffmpeg解码速度不足，无法持续喂饱GPU。最耗时环节为训练稳定性调优——团队明确指出，多数崩溃发生于loss持续下降过程中，MSE指标平稳但生成质量恶化。文档中系统记录六项关键修复：以Muon替代LaProp（后者在两次各约400 B200小时的训练中随机剧烈震荡）；EMA权重被确认为扩散推理必需；混合精度对边界敏感——参数保持float32，BF16覆盖大部分计算。