JEPA-Anything:单一套件通用于7大领域世界模型
来自港中文、复旦、斯坦福等机构的研究者推出JEPA-Anything框架,通过正交预测分解(OPF)技术,将联合嵌入预测架构(JEPA)的单一目标表征解耦为K个正交子空间因子,实现跨视觉、生物、临床、控制、分子动力学、物理场与气象7大领域的统一建模。实验显示其在动态预测、科学发现与零样本聚类等任务上全面优于标准JEPA及多个主流世界模型。
统一框架:告别领域定制化建模
JEPA-Anything是由PhAI Labs、香港中文大学、复旦大学、斯坦福大学、牛津大学与普林斯顿大学联合研发的领域无关世界模型构建框架。它不为每个领域单独设计预测模型,而是采用同一套学习范式,适配差异极大的系统——涵盖计算机视觉、单细胞生物学、临床事件轨迹、机器人控制、分子动力学、偏微分方程描述的物理场以及中尺度天气预报共7个领域。
该框架基于联合嵌入预测架构(JEPA),并引入核心创新:正交预测分解(Orthogonal Predictive Factorization, OPF)。研究团队指出,传统JEPA(如I-JEPA或V-JEPA 2)仅输出一个整体目标嵌入,易引发“容量分配问题”:高方差结构主导训练信号,而弱模式因梯度冲突难以优化。
正交预测分解(OPF)的技术机制
OPF将宽度为d的潜在目标表征划分为K个学习得到的子空间,每个子空间宽度为r(即d = K × r),多数实验中取K = 4。每个子空间配备独立预测器;各因子预测结果经投影矩阵的Moore-Penrose伪逆重组,生成一个完整潜变量,供后续解码、规划或前向推演使用。
为保障各因子有效协同,框架引入三项正则化:
- 正交性损失:约束各投影矩阵列向量组内标准正交,且不同投影矩阵对应子空间互不重叠;
- 因子活跃度损失:对每个坐标的方差施加铰链约束,防止任一因子失效(“死亡”);
- 编码器方差损失:向在线编码器发送直接反坍缩信号。
OPF损失被简单叠加至各领域原有训练损失之上。领域适配器负责处理分词与编码,核心模块以`OrthogonalFactorProjection`形式向开发者开放。实验证明,正交性对合成稳定性至关重要:在CITRIS干预型乒乓球任务中,未约束的多头模型条件数高达438.52,而正交版本降至1.00005,跨因子重叠趋近于零。
跨领域性能验证:三类关键指标提升
研究将效果分为三组评估:
第一组:终端读出任务(Terminal Readout)
- 单细胞数据零样本PBMC聚类(AvgBIO)达0.7752,超越Cell-JEPA(0.7194);
- Norman扰动预测相关系数从0.787升至0.814;
- 基于UK Biobank的千余项临床事件预测,平均PRAUC为0.718,略高于标准JEPA(0.711)。
第二组:潜空间世界动力学建模
- 在Interventional Pong中,单干预MSE下降34.83%,未知组合干预改善12.90%,6步自由推演误差降低8.58%;
- 在CausalWorld、DeepMind Control、PDEBench与WeatherBench2共10项匹配动力学任务中,JEPA-Anything全部刷新SOTA;
- APEBench Burgers方程6步推演误差下降约44.7%(各随机种子均提升);
- 在TrajCast风格骨干网络下完成100步分子轨迹推演,其在水、石英、对乙酰氨基酚与苯四种体系的MAE与RMSD均为最低;
- 规划能力呈任务依赖性:Walker2d与HalfCheetah上CEM回报率提升,Hopper则仍偏好标准JEPA。
第三组:可解释科学发现
- 因子分析识别出IL-18联合CD73阻断为潜在癌症干预策略,并经共培养、患者来源类器官、肿瘤组织切片及小鼠模型验证;
- 潜在轨道模态拟合开普勒第三定律,斜率达−1.4991,逼近理论值−1.5。