参考导引技能发现

将无监督技能发现算法扩展到高自由度代理仍具有挑战性。随着维度的增加，探索空间呈指数增长，而有意义技能的流形保持有限。因此，语义有意义性变得至关重要，以有效引导高维空间的探索。本文提出 Reference-Grounded Skill Discovery（RGSD），一种基于语义潜在空间使用参考数据对技能发现进行 grounding 的新算法。RGSD 首先进行对比预训练，将运动嵌入到单位超球面上，将每个 reference 轨迹聚类为 distinct 方向。这种 grounding 使技能发现能够同时涉及对 reference 行为的模仿以及对与之语义相关且多样化行为的发现。在一个具有 $359$ 维观察和 $69$ 维动作的模拟 SMPL 人体模型上，RGSD 成功地模仿了走路、跑步、拳击和侧步等技能，同时发现这些行为的变体。在下游 locomotion 任务中，RGSD 利用所发现的技能忠实地满足用户指定的 style 命令，优于imitation-learning 基线方法，后者往往难以维持命令的 style。