LeCun 用三行公式讲清生成式、联合嵌入（JEA）和 JEPA 的区别：加入动作变量就成了世界模型

@TimDarcet @gabriberton JEPA 里的 P 代表「预测」（predictive）。 主要的区别不在 JEA 和 JEPA 之间，而在联合嵌入（无论是否带预测）和生成式架构之间。 是否需要预测器，取决于任务。

给定观测 x 和 y（y 只在训练时可得），生成式架构从 x 预测 y。损失是 y 与其预测之间的差异： L = divergence(y, pred(enc(x)) )

JEA 同样对 y 进行编码，并最小化 x 和 y 的表示之间的差异，同时防止坍缩： L = divergence( enc(y), enc(x) ) + R( enc(y), enc(x) ) 其中 R 是防坍缩正则项，可以在一个批次的样本上计算。 当预测没有特定方向时使用 JEA，也就是 x 和 y 是同一场景的不同视角。JEA 的想法非常古老。Becker 和 Hinton 在 1989 年提出过一个简单模型，其防坍缩基于信息最大化。Schmidhuber 在 1992 年有一个基于冗余最小化的版本。在 NIPS 1993 上，我提出了孪生网络（Siamese nets），这是一种训练 JEA 的对比方法。这类对比方法在 2020 年谷歌的 SimCLR 论文之后流行起来。2021 年，我组里的 Stéphane Deny 提出了 Barlow Twins 冗余削减正则项，它似乎能在大规模上奏效。紧随其后的是 Adrien Bardes、Jean Ponce 和我提出的 VICReg，以及去年 Randall Balestriero 和我提出的 SIGReg。 DINO 是一种 JEA 方法，源自 FAIR 巴黎 Piotr Bojanowski 小组的一长串论文，从 Noise as Targets（2017）、Deep Clustering（2018-2020）开始，再到 DINO v1-v3，它们是在簇之间而不是样本之间做对比。

JEPA 加入了一个预测器，在预测不对称时很有用。例如，x 是 y 的退化/损坏版本，或者 x 是当前观测、y 是未来观测（时间预测）。损失为： L = divergence( enc(y), pred(enc(x)) ) + R( enc(y), enc(x) )

所有这些模型都可以加入一个动作变量 a，输入给预测器，用来编码从 x 产生 y 的动作、干预或变换。 这就把系统变成了一个「世界模型」。在 JEPA 中，损失变为 L = divergence( enc(y), pred(enc(x), a) ) + R( enc(y), enc(x) )