化繁为简：利用简单模型实现复杂系统控制的数据高效学习
机器人学
2021-02-18 v3 机器学习
摘要
当操控具有复杂动力学的新颖物体时，状态表示并非总可获得，例如可变形物体。从观测中同时学习表示与动力学需要大量数据。我们提出学习型视觉相似性预测控制（LVSPC），一种从图像中对具有复杂动力学和高维状态空间的系统实现数据高效学习控制的新方法。LVSPC 利用给定的简单模型近似来生成图像观测。我们使用这些图像训练一个感知模型，在线从复杂系统的观测中估计简单模型状态。随后我们利用复杂系统的数据拟合简单模型参数，并学习该模型不准确之处，同样在线进行。最后，我们使用模型预测控制（MPC），使控制器偏离简单模型不准确因而可靠性较低的区域。我们在两项任务上评估 LVSPC：操控系留质量块与绳索。我们发现该方法以少一个数量级的数据取得了与最先进强化学习方法相当的性能。LVSPC 在真实机器人上仅经 10 次试验即以 80% 成功率完成绳索操控任务，尽管其感知系统仅在仿真图像上训练。
引用
@article{arxiv.2102.02493,
title = {Keep it Simple: Data-efficient Learning for Controlling Complex Systems with Simple Models},
author = {Thomas Power and Dmitry Berenson},
journal= {arXiv preprint arXiv:2102.02493},
year = {2021}
}
备注
8 pages, 5 figures (excluding tables and algorithms), 2 algorithms, 1 table, accepted to RA-L. Video: https://www.youtube.com/watch?v=Y0MOhBJejGc