用分层隐混合策略学习可迁移运动技能
机器学习
2022-03-15 v2 人工智能
机器人学
摘要
对于在真实世界中运行的机器人，期望学习可重用行为，这些行为能有效迁移并适配到众多任务和场景。我们提出一种使用分层混合隐变量模型从数据中学习抽象运动技能的方法。与现有工作不同，我们的方法利用离散与连续隐变量的三级层次结构，以捕获一组高层行为，同时允许其行为执行方式存在方差。我们在操作领域中证明，该方法能有效地将离线数据聚类为不同的、可执行的行为，同时保留连续隐变量模型的灵活性。所得技能可迁移并在新任务、未见物体上微调，以及从状态策略到基于视觉的策略，相比现有的基于技能和模仿的方法取得了更好的样本效率和渐近性能。我们进一步分析了技能在何时及如何最有益：它们鼓励定向探索以覆盖与任务相关的状态空间的大区域，使它们在具有挑战性的稀疏奖励设定中最有效。
引用
@article{arxiv.2112.05062,
title = {Learning Transferable Motor Skills with Hierarchical Latent Mixture Policies},
author = {Dushyant Rao and Fereshteh Sadeghi and Leonard Hasenclever and Markus Wulfmeier and Martina Zambelli and Giulia Vezzani and Dhruva Tirumala and Yusuf Aytar and Josh Merel and Nicolas Heess and Raia Hadsell},
journal= {arXiv preprint arXiv:2112.05062},
year = {2022}
}