PEIRA：通过视图间回归对齐学习预测编码器
机器学习
2026-05-19 v1 人工智能
摘要
非对比自监督学习（SSL）是有效的预测表征学习框架，但像 SimSiam、BYOL、I-JEPA 或 DINO 等流行方法（在实际中也很有效），这些方法依赖自教育形式来训练教师-学生网络，通常并未最小化明确定义的目标函数。我们分析了使用正则化线性回归器从两个数据视图中相互预测所学表征的 JEPA 变体的动力学，并完全刻画了其稳定性：非坍缩的稳定平衡点对应于主导的非线性准线性相关子空间，而坍缩平衡点也可能是稳定的吸引子。针对此结果，我们引入了 PEIRA，这是一种通过回归器的最优线性回归迹迹定义的非对比 SSL 方法。我们显示，其唯一稳定平衡点是非平凡的全局最小化器，并恢复相同的准线性相关子空间，其中正则化选择有效维数。在 ImageNet-1K 和 CIFAR-10 上的实验表明，PEIRA 在与 VICReg 和 LeJEPA 基线竞争方面表现良好，定性经验结果支持理论。
引用
@article{arxiv.2605.17671,
title = {PEIRA: Learning Predictive Encoders through Inter-View Regressor Alignment},
author = {Michael Arbel and Basile Terver and Jean Ponce},
journal= {arXiv preprint arXiv:2605.17671},
year = {2026}
}