可控性感知的无监督技能发现
机器人学
2023-06-06 v3 人工智能
机器学习
摘要
智能体的关键能力之一是在无外部监督的情况下发现有用技能。然而，当前的无监督技能发现方法由于缺乏发现更复杂、更具挑战性行为的激励，往往局限于获取简单、易学的技能。我们提出了一种新颖的无监督技能发现方法——可控性感知技能发现（CSD），其在无监督条件下主动寻找复杂、难以控制的技能。CSD的关键组件是一个可控性感知距离函数，该函数对以当前技能更难实现的状态转移赋予更大的值。结合距离最大化技能发现，随着我们联合训练的距离函数降低易实现技能的奖励，CSD在训练过程中逐步学习更具挑战性的技能。我们在六个机器人操作与运动环境中进行的实验结果表明，CSD能在无监督情况下发现多样的复杂技能，包括物体操作与运动技能，显著优于先前的无监督技能发现方法。视频与代码见 https://seohong.me/projects/csd/
引用
@article{arxiv.2302.05103,
title = {Controllability-Aware Unsupervised Skill Discovery},
author = {Seohong Park and Kimin Lee and Youngwoon Lee and Pieter Abbeel},
journal= {arXiv preprint arXiv:2302.05103},
year = {2023}
}
备注
ICML 2023