用基于能量的模型正则化基于模型的规划
机器学习
2019-10-15 v1 机器人学
机器学习
摘要
基于模型的强化学习可通过快速获取关于世界的丰富知识并借此在不额外获取数据的情况下改进行为，从而实现样本高效学习。习得的动力学模型可直接用于规划动作，但由于习得模型的不准确性，这一直具有挑战性。本文关注使用习得动力学模型进行规划，并提出利用环境中状态转移的能源估计来对其正则化。我们直观地展示了所提方法的有效性，并表明能量估计器的离策略训练可有效用于正则化基于预训练动力学模型的规划。进一步，我们证明所提方法能够实现样本高效学习，仅在数分钟经验内即在 Half-cheetah 和 Ant 等困难连续控制任务中取得有竞争力的性能。
引用
@article{arxiv.1910.05527,
title = {Regularizing Model-Based Planning with Energy-Based Models},
author = {Rinu Boney and Juho Kannala and Alexander Ilin},
journal= {arXiv preprint arXiv:1910.05527},
year = {2019}
}
备注
Conference on Robot Learning 2019