Lipschitz约束的无监督技能发现
机器学习
2022-02-09 v2 人工智能
机器人学
摘要
我们研究无监督技能发现问题，其目标是在无外部奖励情况下学习一组多样且有用的技能。已有许多基于最大化技能与状态间互信息（MI）的技能发现方法。然而，我们指出它们的MI目标通常偏好静态技能而非动态技能，这可能阻碍在下游任务中的应用。为解决这个问题，我们提出Lipschitz约束技能发现（LSD），其鼓励智能体发现更多样、动态且影响深远的技能。LSD的另一益处是其学习的表示函数可用于以解决目标跟随下游任务，甚至以零样本方式——即无需进一步训练或复杂规划。通过在各种MuJoCo机器人运动与操作环境中的实验，我们证明LSD在技能多样性、状态空间覆盖以及七项下游任务（包括具挑战性的Humanoid多目标跟随任务）性能上优于先前方法。我们的代码与视频见 https://shpark.me/projects/lsd/。
引用
@article{arxiv.2202.00914,
title = {Lipschitz-constrained Unsupervised Skill Discovery},
author = {Seohong Park and Jongwook Choi and Jaekyeom Kim and Honglak Lee and Gunhee Kim},
journal= {arXiv preprint arXiv:2202.00914},
year = {2022}
}
备注
Accepted to ICLR 2022