BiJEPA：双向联合嵌入预测架构用于对称表示学习

自监督学习（SSL）已从像素级重建转向潜在空间预测，由联合嵌入预测架构（JEPA）领跑。尽管效果良好，标准 JEPA 模型通常依赖单向预测机制（例如 Context $\to$ Target），可能忽略反向关系中固有的有用信号，影响其性能。本文提出了 \textbf{BiJEPA}，即 \textit{Bi-Directional Joint Embedding Predictive Architecture}，通过在数据片段之间强制实现循环一致的可预测性。我们解决了对称预测（表示爆炸）固有的不稳定性，通过在表示向量上引入关键范数正则化机制。我们在三种不同模态上评估 BiJEPA：合成周期信号、混沌 Lorenz 流形轨迹以及高维图像数据（MNIST）。我们的结果表明，BiJEPA 在不出现崩溃的情况下实现了稳定收敛，捕捉了混沌系统的语义结构，并学习到了能够进行生成和泛化的稳健时空表示，为表示学习提供了更全面的方法。