基于可达性的聚类用于高效学习运动技能
机器人学
2022-03-02 v3
摘要
对于四足运动的无模型深度强化学习，机器人构型的初始化对数据效率与鲁棒性至关重要。本工作通过自动发现初始状态，同时聚焦于数据效率与鲁棒性的算法改进，这由我们提出的基于可达性度量的 K-Access 算法实现。具体而言，我们构建了可达性度量以衡量任意两状态间转移的难易程度，并提出了一种新颖的 K-Access 状态空间聚类算法，该算法基于可达性度量自动发现静态姿态聚类的质心。通过使用所发现的质心静态姿态作为初始状态，我们能够通过减少冗余探索来提高数据效率，并通过从质心到采样姿态的更有效探索来增强鲁棒性。聚焦于作为极困难运动技能集合的跌倒恢复，我们使用 8 自由度四足机器人 Bittle 广泛验证了我们的方法。相较于基线，我们方法的学习曲线收敛快得多，仅需 60% 的训练回合。借助我们的方法，机器人在 99.4% 的测试案例中能在 3 秒内成功恢复至站立姿态。此外，该方法能成功泛化至其他困难技能，如后空翻。
引用
@article{arxiv.2109.11191,
title = {Accessibility-Based Clustering for Efficient Learning of Locomotion Skills},
author = {Chong Zhang and Wanming Yu and Zhibin Li},
journal= {arXiv preprint arXiv:2109.11191},
year = {2022}
}
备注
accepted by icra 2022. preprint