JEPA-Anything · 论文精读用正交预测分解学一个跨世界的预测模型

01 — 30 秒速览

这篇论文到底做了什么

一句话：把 JEPA 里那个"什么都要预测"的整体目标向量，切成 K 块互相正交的、各由专属预测器负责的因子；再用伪逆把预测出的因子合成回一个完整隐状态。 切分不是语义切分（不是"位置/物体/动作"这种人工标签），而是由可预测性自行涌现的空间切分。

02 — 动机

为什么"整体目标嵌入"是个瓶颈

论文的世界模型定义刻意放宽：不再局限于"动作条件下的控制"，而是从上下文构建一个隐状态，并用它预测同一个底层世界的另一个状态。这个"另一个状态"可以是未来状态、被遮挡的空间区域、另一个视角，或者同一系统的更完整观测。患者病史、分子轨迹、部分观测场景、细胞表达谱，全都落进这个定义。

问题在于：不同系统的可预测结构长得完全不同。

• 视觉状态可能同时包含位置、物体身份、变换操作；
• 生物状态可能包含细胞类型与扰动响应；
• 物理状态可能包含实体、尺度、动力学模态。

而这些成分的数量、尺度、可预测难度差异极大，不同下游任务复用的还是不同混合比例。于是当 JEPA 用一个整体嵌入承载全部时，会出现三种病：

注意这个提法很讲究：它要求接口固定、状态可组织。也就是说，通用性来自"接口不变"，而适应能力来自"状态可以被拆成多个互补分量"——而不是给每个领域写一套新架构。

03 — 方法

正交预测分解（OPF）的内脏

3.1 一个接口，一个预测核心

设 δ 是领域索引，x ~ 𝒟_δ 是原始观测。领域适配器 𝒜_δ 把 x 映射成内容 token H = {h_i}_i∈Ω 与结构描述符 S = {s_i}_i∈Ω。描述符可以编码 patch 坐标、时间戳、图位置、实体身份，也可以为空。视图采样器 𝒱_δ 选出上下文索引 C ⊂ Ω 和目标索引 T ⊂ Ω，得到统一接口：

在线编码器给出上下文表征 z_c = f_θ(H_C, S_C)；目标编码器给出每个 t ∈ T 的隐目标 z_t = f_θ̄(H, S)_t ∈ ℝ^d。目标参数用指数滑动平均更新、且不接收梯度：

当 |T| = 1 时，退化为经典的"单向量"JEPA。论文用一张表把什么随领域变、什么永远不变划得很清楚：

接口成立的前提也被明确写出：目标必须与上下文存在可用的统计依赖，且必须是同一底层系统的另一个状态。因子身份来自预测学习，而不是预定义的语义——这一点后面会反复出现，也是它区别于 β-VAE / Slot Attention 一类工作的关键。

3.2 正交预测分解：切、预测、合

切。引入 K 个可学习投影器 P_k ∈ ℝ^d×r，取 Kr = d。在零惩罚极限下，这 K 个互相正交的子空间构成目标空间的一个完整划分。对停止梯度的目标表征做分解：

注意梯度的流向：停止梯度只加在目标编码器的输出上，投影器本身是可训练的，从预测项、正交项、因子活性项三处接收梯度。因此学到的子空间既"可预测"，又"被正交性约束塑造"。

预测。每个因子 k 有对应的预测器 q_k，把共享上下文表征（必要时加上目标描述符 s_t）映射到同一个 r 维空间：

预测器可以各自独立实现，也可以是共享主干 + 分叉头。当上下文已唯一确定目标时，预测器可以忽略描述符。

合。把各因子预测拼接成 û_t = [(ẑ_t⁽¹⁾)^⊤, …, (ẑ_t^(K))^⊤]^⊤ ∈ ℝ^d，再经分析映射 P^⊤ 的 Moore–Penrose 伪逆合成完整目标状态：

当 P 严格正交时，(P^⊤)^† = P，式 (5) 退化为极简的 ẑ_t = Σ_k P_k ẑ_t^(k)。这个合成状态就是整个框架的公共接口——解码未来隐状态、或是喂回多步推演，都走这一条路。

对时序 / 动作条件 / 干预条件的实例，设 ξ_t 为第 t 步的外生输入（动作、干预标签、已知外力）。适配器把 ξ_t 放进上下文 token 或目标描述符。当当前上下文被隐状态 z_t 概括时，操作性转移写成：

反复施加即定义隐空间推演（latent rollout）。规划器可以用已知的领域回报或任务特定的回报读出给轨迹打分——这个分工很重要：OPF 负责提供预测状态，应用负责提供回报规范。

预测损失：为什么要直接回归因子

为了让状态合成所需的方向和幅度都保住，论文没有用余弦相似度之类的方向性损失，而是直接对每个预测因子做 L2 回归：

正交损失：因子必须有差异

仅靠预测损失不够——多个投影器完全可能学到同一批目标方向。因此显式要求：每个投影器内部的列近似正交归一，且不同投影器占据近似正交的子空间：

第一项避免因子内部出现退化基，第二项阻止不同因子反复编码同一个方向。论文把它和 SSL 里的冗余削减目标（Barlow Twins、VICReg）类比，但点出关键差别：这里的正交性直接施加在"学习到的预测目标子空间"上，而不是施加在单个嵌入的统计量上。

3.3 保持因子与编码器活性

正交性规定的是子空间之间的关系；还需要一个逐因子的活性下限，保证每个投影坐标在样本间不塌成常数。设 σ^fac_k,j 是坐标 j 在 mini-batch 上的经验标准差（因为目标表征被停止梯度，这一项实际塑造的是投影器）；另设 σ^enc_j 是在线上下文表征的经验标准差。标准差按 √(Var + ε) 计算，得到两个合页损失：

前者让被投影的目标保持活性，后者给在线编码器一个直接的反坍缩梯度。最终把预测项和正则项汇成可加的 OPF 损失，与领域原损失相加：

3.4 同一套预训练，两种使用模式

所有实例遵循同一个优化循环：① 适配原始观测为 token 与描述符 → ② 采样上下文与目标 → ③ 用在线编码器编码上下文、用停止梯度的 EMA 编码器编码目标 → ④ 预测每一个正交目标因子 → ⑤ 用式 (10) 更新在线编码器、投影器和预测器 → ⑥ EMA 更新目标编码器。

在因子级分析里，学习到的投影器被保留下来当作诊断接口，直接暴露可解释的预测模式——这正是 Group III 做湿实验提名和轨道谱分析所依赖的接口。

04 — 交互

亲手拆一次：正交性究竟在保护什么

下面这个二维示意（d = 2, K = 2, r = 1）复现了论文 Proposition 1 与 Corollary 1 的几何。 拖 "因子间夹角偏离" 让两个因子从正交逐渐变成"几乎重复的方向"，看条件数 κ₂(P) 怎么爆掉、合成误差怎么被放大——这就是论文 Table 5 里"无约束多头"与"正交分解"拉开 5 个数量级的原因。

05 — 理论

两条命题：完整覆盖 + 稳定合成

论文的理论部分很轻，但正好卡在要害上：它要证明的不是"解耦更优雅"，而是"这么切不会丢信息，且合回来不会放大误差"。

Proposition 1（正交预测分解）

若 P_i^⊤P_j = 0 (i ≠ j) 且 P_k^⊤P_k = I_r，则因子空间构成正交直和，且对任意 z ∈ ℝ^d：

换言之：因子保留 z 的全部信息，只差一个正交基变换。在这个零惩罚极限下，式 (5) 的伪逆合成退化为对应的正交合成规则。这一条回答了"切了会不会漏"。

Corollary 1（稳定合成 vs. 无约束头）

记 u = P^⊤z，e ∈ ℝ^d 为拼接后的因子预测误差。在 Proposition 1 的假设下：

而去掉交叉因子正交约束后：存在允许的投影器（含重复方向）使 P 秩亏；也存在满秩但方向"近似重复"的投影器，使 P 的条件数任意大。因此无约束多头既不能保证完整恢复，也不能保证稳定合成。这一条回答了"为什么必须正交，而不是随便切几块"。

Proposition 2（近似稳定性，附录 A）

真实训练里 P 只是近似正交，合成走伪逆。若 ‖P^⊤P − I_d‖₂ ≤ ε < 1，则

且对精确因子坐标 u = P^⊤z 与预测坐标 û = u + e：

补充：论文在严格正交分解的推导里用 P_raw = QR（Q^⊤Q = I_d）因子化，分区为 Q = [Q₁, …, Q_K]，从而坐标 Q_k^⊤z 满足转置合成 z = QQ^⊤z = Σ_k Q_kQ_k^⊤z。受控几何分析用这个严格分解；实际预测模型用学习到的、被正交正则化的投影器 + 伪逆合成。

06 — 实验

三级验证：从读出到滚到湿实验

实验组织本身就是一个论点：Group I 验证"预测出的状态能读出东西"；Group II 验证"预测出的状态能被反复使用而不崩溃"；Group III 验证"因子坐标能当科研接口，接通外部证据"。三组递进，缺一组论证都不成立。

统一的对照逻辑：所有定量比较都同时包含①领域标准基线、②整体式（monolithic）JEPA 基线、③JEPA-Anything。在与标准 JEPA 的直接对照中，适配器、编码器架构、上下文—目标采样器、优化预算、数据划分、下游读出、继承的基础损失全部固定；标准 JEPA 加它的整体预测项，JEPA-Anything 加 ℒ_OPF（含因子专属正则）。这意味着性能差异只能归因于因式化本身，而不是参数量或算力的偷偷增加。这一点在后面控制实验里有精确的参数量/FLOP 核对。

3.2.1 受控视觉绑定（Controlled Visual Binding）

问题：冻结的表征能否同时保留"变化发生在哪里"和"发生了哪种操作"，包括读出训练时被扣掉的支撑—操作组合？

设置：DINOv3 ViT-S（d = 384，K = 4, r = 96）与 SigLIP2 Base（d = 768，K = 4, r = 192）。冻结基线直接用原检查点。标准 JEPA 与 JEPA-Anything 从完全相同的副本出发，用块掩码 patch 预测 + 二维位置描述符训练，共享数据、掩码、优化设置和读出架构。训练后的编码器被冻结，用于受控干预评测。评测在重建的 MuJoCo 场景上做图像不相交划分、留一单元（leave-one-cell-out）读出和单射匈牙利对齐，报告 10 个种子的 INJ（单射留出单元准确率）、Coll.（阈值 0.5 的坍缩率）、Rec.（网格恢复率）。

注意"冻结检查点 → 标准 JEPA"这一步在 SigLIP2 上几乎没变化（.484 → .483），而 JEPA-Anything 再进一步提升到 .490。增益幅度不大——这是论文里最弱的一组证据之一，值得在后面第 7 节单独讨论。

3.2.2 单细胞状态表征与扰动预测

问题：scRNA-seq 每个细胞是一个高维但极度稀疏的表达谱，逐基因重建会把容量浪费在技术性 dropout 和计数波动上。隐预测能否学到更稳定的细胞状态表征？正交分解能否进一步改善细胞类型聚类和扰动响应预测？

设置：跟随 Cell-JEPA 的构建设置，用 scGPT 骨干，按基因身份 + 离散化表达值做 token 化。表征路径是掩码构造：学生编码器接收掩码表达值，预测 EMA 教师从未掩码细胞给出的细胞级嵌入。Norman 扰动实验预测隐响应 z_response := z_observed − z_control，512 维响应表征用 K = 4, r = 128。评测：约 80 万个人肾细胞上预训练；PBMC-10K 细胞类型聚类（微调与零样本两种设置）；Adamson 与 Norman 数据集上的扰动响应预测。AvgBIO 概括聚类质量，Pearson 相关衡量绝对扰动后表达预测。全部为 5 个训练种子平均。

这是四组指标全面最高，且提升幅度可观（零样本 AvgBIO 0.7194 → 0.7752，+7.8%）。审计上也比较干净：Cell-JEPA 与 JEPA-Anything 的差别只有"是否对同一目标做因式化隐预测"。

3.2.3 纵向疾病状态预测

问题：纵向健康记录稀疏、时间不规则，且只部分观测驱动疾病进展的生理状态。预测未来的隐健康状态，能否支撑广谱且长程的临床事件预测？

设置：每个患者状态 = 按时间排序的临床事件 + 人口学上下文 + 分子/生化变量。上下文编码器及其 EMA 目标副本使用 GPT-2 small（d = 768），前者表示既往史，后者表示未来患者状态。K = 4, r = 192。对照组是整体式健康状态 JEPA。JEPA-Anything 预测正交因子并用式 (5) 重建完整未来状态，再由一个共享轻量解码器映射到 1000+ 个未来临床事件的风险。主指标是全事件词表上的平均 PRAUC（因为很多结局是稀有事件）。5 个种子，固定患者级队列划分，使用去标识化的 UK Biobank 数据。

3.3.1 干预条件下的组合式预测

关键区分：在 CITRIS Interventional Pong 里，干预不是模型选择的动作。实验者改变系统的一个或多个因子，模型同时收到干预前观测和一个说明"改了什么"的标签，任务是预测随之而来的下一个状态。

两级泛化：① 训练分布内出现过的单因子干预；② 多个因子同时被干预，且这个组合在训练中被扣掉——尽管每种单独变化都见过。第二级真正在问：模型是记住了完整的干预模式，还是能在新的组合配置下重组已学到的状态变化规则？此外还评测六步自由推演。

5 个配对种子，相同数据、相同模型预算。四通道 MSE，越低越好。注意增益随难度递减：单干预 −34.8% → 组合干预 −12.9% → 六步推演 −8.6%。越往"真正需要泛化"的地方走，增益越小——这个趋势在整篇论文里反复出现。

正交性机制审计（Mechanism Audit）

为了把正交性的结构作用单独分离出来，论文在官方 CITRIS 数据、5 个训练种子、2500 步预算下，把因子接口与容量匹配的无约束多头做对照。审计要回答四件事：因子块是否互相重叠？合并后的分析矩阵是否以稳定的奇异值覆盖状态空间？原始隐状态能否直接从因子坐标合成？以及这种结构是否以"关掉大部分因子"为代价获得？

这是全文最干净的一组证据：无约束多头的合成 NMSE 是 0.7886（也就是说，即便给它精确的因子坐标，合回来的状态也错得离谱），而正交分解是 10⁻¹⁴ 量级（数值精度）。条件数从 438 降到 1.00005。这组数据把 Corollary 1 从"存在性证明"变成了实测量。

3.3.2 分布外与长程动力学

两个能力要求：① 从有限轨迹学到可复用的转移规则，而非记住训练轨迹——在未见初始条件、留出回合、更晚时段上预测；② 连续六步前向，每步预测都成为下一步输入，误差会复合。

设置：CausalWorld（机器人状态与控制条件观测）、DeepMind Control Suite（像素动力学）、PDEBench（连续物理场）、WeatherBench2（天气场）。10 个任务 × 5 个随机种子 {11, 23, 37, 53, 71}。标准 JEPA 用一个共享隐目标，JEPA-Anything 把目标分成四个因子；同一任务同一种子内，两者使用相同数据、编码器与转移骨干、优化预算、评测划分与计算后端。

MSE 越低越好，每项为 5 个种子平均。可以看到两类情形：CausalWorld 与 DMC 像素动力学是"低位小幅改善"，PDEBench 是"近半折半"的大幅改善——改进幅度与任务本身的结构化程度强相关。

3.3.3 连续控制规划

设置：Hopper-v5、Walker2d-v5、HalfCheetah-v5。稠密、容量匹配的标准 JEPA 与全量 JEPA-Anything（K = 4）使用相同数据、骨干、优化预算与评测协议。训练种子 {42, 123, 456, 789, 2026}。每个检查点在 5 个相同环境重置上评测，配对比较会重置 CEM 候选动作的随机性，最终使用真实环境中获得的回报。

参数量核对：分支宽度按 K ∈ {1, 2, 4, 8} 校准。相对稠密标准 JEPA，训练参数量差异为 0.000% / 0.006% / 0.126% / 0.246%，预测头 FLOP 差异为 0.000% / 0.742% / 0.992% / 1.449%——全部低于 0.3% 参数与 2% FLOPs。

3.3.4 运动控制中的因子活性与功能性干预

设置：对完整 K = 4 模型，32 维状态被划成四个学习到的 8 维子空间。在留出转移上，用一个独立的 ridge 探针每次只用一个因子去预测下一步观测变化 Δo_t = o_t+1 − o_t。此外还测量因子级标准差、在 20 步推演中把某个因子替换为训练集均值、以及在真实环境的配对 CEM 评测中重复同样的干预。

可读性（descriptive readout）：在 Hopper 上，F1–F4 最可读的变化依次是脚部角度（R² = 0.294）、躯干高度（0.347）、躯干角度（0.424）、腿部角度（0.310）。论文明确标注：这些是线性可及的运动偏好，而不是预先指派的一对一因子标签——一个因子可能保留若干相关变量的信息。

活性：四个组全部保持活跃。因子级标准差落在：Hopper 0.692–0.715，Walker2d 0.587–0.601，HalfCheetah 0.673–0.678。

功能性：把任一因子替换为训练集均值会在三个环境中全部提高推演误差。在 HalfCheetah 上，屏蔽 F1 或 F3 在全部 5 个训练种子里降低回报，屏蔽 F2 或 F4 则在 5 个种子中的 4 个降低回报。

三项合起来构成一条 "活跃 → 可读 → 功能上被使用" 的证据链：OPF 提供的是几何上不重叠、活跃、且可单独干预的状态通道。

3.3.5 无力场的分子预测

问题：无力场（force-free）分子预测器直接预测未来的原子位置与速度，然后把自己的输出自回归地喂回去。即便一步预测很准，局部小误差也会累积。正交的"未来因子"能否改善一步精度和长程稳定性？

设置：每个分子状态包含原子位置、速度、种类和模拟盒。用 TrajCast 风格的等变预测器，在液态水、晶态 α-石英、气相扑热息痛和苯上评测。JEPA 预训练的参考条件记为 TrajCast-JEPA。JEPA-Anything 保留相同的系统数据、O(3) 等变骨干、预测区间、监督适配与推演协议，只在预训练阶段施加正交预测分解。

等变性处理（值得注意的细节）：把 OPF 施加在 l = 1 扇区的 64 通道重数轴上，取 d = 64, K = 4, r = 16。因为一个 l = 1 不可约表示有三个分量，对应的展平块含 64 × 3 = 192 个标量坐标；学到的通道投影对三个分量施加相同的作用，等价于 P_k ⊗ I₃，以保持等变性。这是一个容易被忽略但很关键的正确性细节——它说明 OPF 并非"随便切向量"，而是要尊重对称结构。

评测：5 个独立训练的模型取均值。对每个种子，计算一步位移 MAE 与 100 步自由自回归后的中位数末位置 RMSD，再跨种子平均。后者是推演稳定性的主指标。

四个系统的一步 MAE 与 100 步 RMSD 全部最低。这是摘要里"all four systems"的来源。注意水的一步 MAE：从零训练（0.00387）甚至优于 TrajCast-JEPA（0.00452），说明JEPA 预训练本身并非无条件有益，是有 JEPA-Anything 才把这一步找回来（0.00376）。

3.4.1 因子提名干预的湿实验验证

把领域特定的干预分析施加到 JEPA-Anything 学到的正交因子坐标上，结果提名了 IL-18 联合 NT5E/CD73 阻断作为一个候选干预。随后的湿实验支持了这个预测：在 Huh7–PBMC 共培养、患者来源类器官、肿瘤碎片，以及免疫健全小鼠中显示出增强的抗肿瘤活性。

3.4.2 轨道标度作为物理定律诊断

天文轨迹提供了一个互补的例子：这里不是拿隐模式去预测，而是检查隐模式里有没有可解释的定律。从无物理标签的模拟位置—速度轨迹出发，谱分析把隐频率与轨道半长轴配对。在论文的分析中，得到的模式恢复出开普勒关系 f = (2π)⁻¹ a^(−3/2)，拟合斜率 −1.4991（理论值 −1.5），R² = 0.9999999。

07 — 汇总

所有关键数字与配置，一张表看完

跨域实例化配置

OPF 超参数与正则系数

观察：绝大多数实验共用同一组超参数（d=128, K=4, r=32, λ = .10/.05/.02），只有运动控制（低维状态，故 d=32, r=8）把 λ_orth 调低、λ_fac 调高，CITRIS 用了 K=5。几乎没有逐领域调参，这本身就是"通用原理"叙事的一部分支撑。

08 — 批判性评估

哪些地方站得住，哪些地方要存疑

论文写得克制、诚实（连负面结果都照实报），但作为读者仍应区分证据强度不同的三类主张。

论文自己给的未来方向

作者把下一步指向"让预测模型成为主动调查世界的系统组件"，并连接到 Discovery Foundation Models（把发现视为"提出问题—构造表征—提出假设—通过外部证据修正"的过程）。两个具体的衔接点是 ScienceIDE（提供可执行科学环境，让智能体跑分析、调仿真、拿可验证反馈）与 ScienceBuddy（交互式研究工作台，把 harness 演化与模型学习耦合）。

作者也点明了超出预测精度之外的三个开放问题：如何在分布漂移下校准不确定性；如何判定一个学到的模型"可靠到足以指导实验"；以及当新证据揭示缺失结构时如何修订预测因子。最后一句态度很清醒：正交因子本身并不建立因果机制，共享的预测架构也不保证跨领域的表征对齐。

09 — 速查

一页带走

核心公式

术语对照

如果你想自己跑

• 代码：github.com/Gen-Verse/JEPA-Anything；模型：HuggingFace Gen-Verse/jepa-anything 合集。
• 最小改动路径：找到你现有 JEPA 实现里的预测损失，在旁边加上 ℒ_OPF；把单一投影头换成 K 个共享主干 + 分叉头；加一次 d×d 伪逆做合成。
• 起步超参可直接照抄主表：d=128, K=4, r=32, λ_orth=.10, λ_fac=.05, λ_enc=.02。
• 验证是否真的起作用：先查 κ₂(P) 是否接近 1（Table 5 的审计指标），再查有效因子数是否接近 K（论文报告 3.782/4）。这两项比重上的指标更能说明机制是否真的在生效。