通过引导学习发现技能
机器学习
2023-11-02 v2 人工智能
摘要
在无监督技能发现（USD）领域，一个主要挑战是探索受限，主要源于技能偏离其初始轨迹时会受到巨额惩罚。为增强探索，近期方法采用辅助奖励以最大化状态的认识不确定性或熵。然而，我们发现随着环境复杂度上升，这些奖励的有效性会下降。因此，我们提出了一种新颖的 USD 算法——带引导的技能发现（DISCO-DANCE），其（1）选择具有抵达未探索状态最高潜力的引导技能，（2）引导其他技能跟随该引导技能，然后（3）被引导的技能被分散以最大化其在未探索状态中的可判别性。实证评估表明，DISCO-DANCE 在具有挑战性的环境中优于其他 USD 基线，包括两个导航基准和一个连续控制基准。DISCO-DANCE 的定性可视化与代码可在 https://mynsng.github.io/discodance 获取。
引用
@article{arxiv.2310.20178,
title = {Learning to Discover Skills through Guidance},
author = {Hyunseung Kim and Byungkun Lee and Hojoon Lee and Dongyoon Hwang and Sejik Park and Kyushik Min and Jaegul Choo},
journal= {arXiv preprint arXiv:2310.20178},
year = {2023}
}
备注
29 pages, 18 figures, published at NeurIPS 2023