好奇 iLQR：在基于模型的强化学习中消解不确定性
机器人学
2019-10-09 v2 人工智能
机器学习
摘要
在强化学习问题中将好奇心作为探索手段近来已变得非常流行。然而，在利用好奇心学习控制方面进展甚微。在本工作中，我们提出一种基于模型的强化学习（MBRL）框架，该框架将系统动力学的贝叶斯建模与好奇 iLQR（一种考虑模型不确定性的迭代 LQR 方法）相结合。在轨迹优化过程中，好奇 iLQR 试图同时最小化任务相关代价与动力学模型中的不确定性。我们在仿真和真实机器人上的 7 自由度机械臂到达任务中演示了该方法。我们的实验表明，当从零开始学习新任务时，带有好奇 iLQR 的 MBRL 能更可靠地到达期望的末端执行器目标，且所需的系统 rollout 更少，并且所学模型能更好地泛化到新的到达任务。
引用
@article{arxiv.1904.06786,
title = {Curious iLQR: Resolving Uncertainty in Model-based RL},
author = {Sarah Bechtle and Yixin Lin and Akshara Rai and Ludovic Righetti and Franziska Meier},
journal= {arXiv preprint arXiv:1904.06786},
year = {2019}
}