用于形态迁移的分层解耦模仿学习
机器学习
2020-09-01 v2 人工智能
机器人学
机器学习
摘要
在复杂高维智能体上学习长程行为是机器人学习中的一个基本问题。对于此类任务，我们认为将已学信息从形态更简单的智能体迁移到更复杂的智能体，可大幅提升后者的样本效率。为此，我们提出将策略分层解耦为两部分：独立学习的底层策略与可迁移的高层策略。为弥补因形态不匹配导致的迁移性能不佳，我们提出两个关键思路。首先，我们表明激励复杂智能体的底层去模仿简单智能体的底层，能显著提升零样本高层迁移效果。其次，我们表明对高层进行 KL 正则化训练可稳定学习并防止模式崩溃。最后，在一套公开发布的导航与操作环境中，我们展示了分层迁移在跨形态长程任务上的适用性。我们的代码与视频见 https://sites.google.com/berkeley.edu/morphology-transfer。
引用
@article{arxiv.2003.01709,
title = {Hierarchically Decoupled Imitation for Morphological Transfer},
author = {Donald J. Hejna and Pieter Abbeel and Lerrel Pinto},
journal= {arXiv preprint arXiv:2003.01709},
year = {2020}
}
备注
International Conference on Machine Learning (ICML) 2020 camera ready submission