揭示SSL损失中的RL整合:面向数据高效RL的目标特定影响
机器学习
2025-07-11 v3
摘要
在本研究中,我们考察了SPR框架内SSL目标修改的影响,重点关注终端状态掩蔽和优先回放加权等特定调整,这些在原始设计中并未明确涉及。由于这些修改是RL特有的,并非普遍适用于所有RL算法,因此我们旨在评估它们对性能的影响,并探索其他不支持这些调整的SSL目标,如Barlow Twins和VICReg。我们在Atari 100k基准上评估了六种SPR变体,包括有和没有这些修改的版本。此外,我们在DeepMind控制套件上测试了这些目标,其中不存在此类修改。我们的发现表明,在SPR中整合特定的SSL修改显著提升了性能,并且这种影响延伸到后续框架如SR-SPR和BFF,凸显了在自预测强化学习中SSL目标选择及相关调整对实现数据效率的关键重要性。
引用
@article{arxiv.2410.17428,
title = {Uncovering RL Integration in SSL Loss: Objective-Specific Implications for Data-Efficient RL},
author = {Ömer Veysel Çağatan and Barış Akgün},
journal= {arXiv preprint arXiv:2410.17428},
year = {2025}
}
备注
RLC 2025, Neurips SSL Workshop 2024