基于双元元模仿学习迁移层次结构
机器人学
2022-02-22 v2 人工智能
摘要
层次模仿学习(HIL)是机器人从长时序未分段演示中学习子技能的有效方法。然而,学到的层次结构缺乏跨多任务或向新任务迁移的机制,导致其在面对新情境时不得不从零开始学习。迁移并重组模块化子技能要求整个层次结构具备快速适应能力。本文提出双元元模仿学习(DMIL),一种层次元模仿学习方法,其中高层网络与子技能通过模型无关元学习(model-agnostic meta-learning)迭代式元学习。DMIL利用各子技能的状态-动作对似然作为高层网络适应的监督信号,并使用适应后的高层网络为每个子技能适应确定不同的数据集。我们从理论上证明了DMIL迭代训练过程的收敛性,并建立了DMIL与期望最大化(Expectation-Maximization)算法之间的联系。在实证上,我们在Meta-world基准上取得了最先进的少样本模仿学习性能,并在Kitchen环境的长时序任务上获得了有竞争力的结果。
引用
@article{arxiv.2201.11981,
title = {Transfering Hierarchical Structure with Dual Meta Imitation Learning},
author = {Chongkai Gao and Yizhou Jiang and Feng Chen},
journal= {arXiv preprint arXiv:2201.11981},
year = {2022}
}