JEPAs 中的非各向同性: Hamiltonian 几何与符号预测
机器学习
2026-05-20 v1 人工智能
摘要
JEPAs 通常会将单视图嵌入正规化为各向同性的高斯分布，隐式地将欧几里得对称性烘焙到表示中。我们指出，这不仅仅是一种良性默认。对于已知的结构下游几何 ，在 Hamiltonian 能量预算下，最小对数和最大熵协方差分别为 ，而欧几里得各向同性则产生明确的各向同性价格。更重要的是，当下游几何未知时，没有几何无关的固定边际目标是规范的：每一种固定协方差形状都可能对于某种结构几何而言是最大误配的。我们进一步指出，即便是 oracle 单视图边际也无法识别 JEPA 的视图到视图预测耦合。这些结果表明，JEPAs 的结构偏差应进入跨视图耦合中，而非固定编码器边际。我们以 HamJEPA 实现了这一原则：将每个视图编码为相空间状态 ，并通过学习的 Hamiltonian leapfrog 映射进行视图到视图的预测，同时通过非各向同性尺度和谱底层防止坍缩。在一个刻意无头的 token 协议中，HamJEPA 在 CIFAR-100 上相较于 SIGReg 获得了 kNN@20 和 线性探测分数（30 个 epoch），在 80 个 epoch 时分别提升 kNN@20 和 线性探测分数。而且，与匹配的 MLP 预测器消除实验证明，符号耦合是驱动邻域几何提升的关键因素。在 ImageNet-100 上，HamJEPA- 相较于基线提升了 kNN@20 和 线性探测分数。
引用
@article{arxiv.2605.20107,
title = {Beyond Isotropy in JEPAs: Hamiltonian Geometry and Symplectic Prediction},
author = {Robert Jenkinson Alvarez},
journal= {arXiv preprint arXiv:2605.20107},
year = {2026}
}