重建损失是罪魁祸首吗？关于超越 JEPA 的尝试
机器学习
2026-03-17 v1
摘要
我们评估了 JEPA 风格的预测表示学习与重建基于自编码器的方法，在一个受控的“TV 系列”线性动力系统上进行比较，该系统具有已知的潜在状态和单个噪声参数。虽然初始比较表明 JEPA 在噪声下显著更鲁棒，但进一步的诊断显示，自编码器的失败strongly受目标不对称性和瓶颈/组件选择效应的影响（通过 PCA 基线确认）。灵感来自这些发现，我们引入了带有门控机制的预测自编码器，学习以选择可预测的组件，模拟在过参数化 PCA 中看到的有益特征选择行为。在这个玩具测试平台上，所提出的门控模型在不同噪声水平下都稳定，并与 JEPA 持平或优于。
引用
@article{arxiv.2603.14131,
title = {Is the reconstruction loss culprit? An attempt to outperform JEPA},
author = {Alexey Potapov and Oleg Shcherbakov and Ivan Kravchenko},
journal= {arXiv preprint arXiv:2603.14131},
year = {2026}
}