利用前向模型预测误差进行学习控制
机器人学
2020-11-10 v1
摘要
基于模型的控学习可以具有高样本效率且泛化良好，然而对于复杂任务，成功学习代表当前问题的模型与控制器可能具有挑战性。使用不准确的模型进行学习会导致次优解，其不太可能在实际中表现良好。在本工作中，我们提出一种在模型学习与数据收集之间迭代并利用前向模型预测误差进行学习控制的方法。我们展示如何将控制器的预测作为前向模型的输入，从而在控制器与模型之间创建可微连接，使我们能够在状态空间中构造损失。这让我们在控制器学习期间纳入前向模型预测误差，并且我们展示这创建了一个显著改善不同运动控制任务上学习的损失目标。我们提供经验与理论结果以展示我们方法的益处，并给出在 7 自由度机械臂和欠驱动 12 自由度四足机器人的仿真中学习控制的评估。我们展示我们的方法成功学习了涉及接触切换的具有挑战性的运动控制任务的控制器。
引用
@article{arxiv.2011.03859,
title = {Leveraging Forward Model Prediction Error for Learning Control},
author = {Sarah Bechtle and Bilal Hammoud and Akshara Rai and Franziska Meier and Ludovic Righetti},
journal= {arXiv preprint arXiv:2011.03859},
year = {2020}
}