JEPA 用于 RL：探究联合嵌入预测架构用于强化学习
计算机视觉与模式识别
2025-04-24 v1
摘要
联合嵌入预测架构（JEPA）最近日益流行，作为自监督学习的有前景的架构。视觉变换器使用 JEPA 进行训练，可从图像和视频中产生嵌入，已显示出高度适合分类和分割等下游任务。本文展示了如何将 JEPA 架构适用于图像强化学习。我们讨论了模型崩溃问题，说明如何防止其发生，并提供了经典 Cart Pole 任务上的示例数据。
引用
@article{arxiv.2504.16591,
title = {JEPA for RL: Investigating Joint-Embedding Predictive Architectures for Reinforcement Learning},
author = {Tristan Kenneweg and Philip Kenneweg and Barbara Hammer},
journal= {arXiv preprint arXiv:2504.16591},
year = {2025}
}
备注
Published at ESANN 2025