MISL飞吗？相互信息技能学习的分析与要素
机器学习
2025-10-14 v3 人工智能
摘要
自监督学习有潜力解决强化学习中的多个关键挑战，如探索、表征学习和奖励设计。近期工作(METRA)已有效表明，远离相互信息而优化特定Wasserstein距离对性能至关重要。本文认为，该工作所见效益可在现有的相互信息技能学习(MISL)框架中充分解释。我们的分析表明，一种新MISL方法(对比后继特征)可保留METRA的优异性能，同时减少复杂性，还揭示了技能学习、对比表征学习与后继特征之间的联系。最后，通过严谨的消融研究，我们进一步洞察了本方法和METRA的关键要素。
关键词
引用
@article{arxiv.2412.08021,
title = {Can a MISL Fly? Analysis and Ingredients for Mutual Information Skill Learning},
author = {Chongyi Zheng and Jens Tuyls and Joanne Peng and Benjamin Eysenbach},
journal= {arXiv preprint arXiv:2412.08021},
year = {2025}
}
备注
ICLR 2025 (Oral < 1.8%). Code and videos are available on the website: https://princeton-rl.github.io/contrastive-successor-features/