动态感知的质量-多样性方法用于技能库的高效学习
机器学习
2022-07-21 v1 人工智能
神经与进化计算
机器人学
摘要
质量-多样性(Quality-Diversity, QD)算法是一类强大的探索算法,可使机器人发现大量多样且高性能的技能。然而,QD算法样本效率低下,需要数百万次评估。本文提出动态感知的质量-多样性(Dynamics-Aware Quality-Diversity, DA-QD)框架,通过利用动力学模型提升QD算法的样本效率。我们还展示了DA-QD如何用于持续获取新的技能库。为此,我们基于使用QD进行技能探索所获得的经验增量式训练深度动力学模型,进而在想象中对想象出的技能库执行QD探索。我们在三个机器人实验中评估了该方法。首先,实验表明DA-QD在技能发现上的样本效率比现有QD方法高20倍。其次,我们展示了在想象中学习全新技能库以实现零样本学习。最后,我们证明了DA-QD在解决长视野导航任务以及现实世界中的损伤自适应方面有用且有效。视频与源代码见:https://sites.google.com/view/da-qd。
引用
@article{arxiv.2109.08522,
title = {Dynamics-Aware Quality-Diversity for Efficient Learning of Skill Repertoires},
author = {Bryan Lim and Luca Grillotti and Lorenzo Bernasconi and Antoine Cully},
journal= {arXiv preprint arXiv:2109.08522},
year = {2022}
}