面向无监督技能发现的行为对比学习
机器学习
2023-05-09 v1
摘要
在强化学习中，无监督技能发现旨在无外在奖励的情况下学习多样化技能。以往方法通过最大化状态与技能之间的互信息 (MI) 来发现技能。然而，此类 MI 目标倾向于学习简单且静态的技能，并可能阻碍探索。本文提出一种通过行为间对比学习的新颖无监督技能发现方法，其使智能体对同一技能产生相似行为，对不同技能产生多样化行为。在温和假设下，我们的目标基于同一技能最大化不同行为间的 MI，其作为以往 MI 目标的上界。同时，我们的方法隐式增加状态熵以获得更好的状态覆盖。我们在具有挑战性的迷宫与连续控制任务上评估了该方法。结果表明，我们的方法生成多样化且影响深远的技能，并在下游任务中相较最先进方法取得具竞争力的性能。
引用
@article{arxiv.2305.04477,
title = {Behavior Contrastive Learning for Unsupervised Skill Discovery},
author = {Rushuai Yang and Chenjia Bai and Hongyi Guo and Siyuan Li and Bin Zhao and Zhen Wang and Peng Liu and Xuelong Li},
journal= {arXiv preprint arXiv:2305.04477},
year = {2023}
}
备注
Accepted at the 40th International Conference on Machine Learning (ICML 2023)