通过仿真实现泛化：将仿真数据与真实数据整合于基于视觉的自主飞行的深度强化学习中
机器学习
2019-02-12 v1 机器人学
机器学习
摘要
深度强化学习为真实世界机器人的基于视觉的控制提供了一种有前景的方法。然而，此类模型的泛化能力关键取决于可用于训练的数据的数量与多样性。对于某些类型的机器人系统，如易碎的小型四旋翼飞行器，获取此类数据可能非常困难。仿真渲染与物理引擎可以提供大得多的数据集，但此类数据本质上质量较低：使得真实世界自主飞行问题具有挑战性的许多现象，如复杂的物理规律与气流，被建模得很差或根本未被建模，且仿真与真实世界之间的系统性差异通常无法消除。在本工作中，我们研究了如何在混合深度强化学习算法中结合仿真数据与真实世界数据。我们的方法利用真实世界数据学习系统的动力学，并利用仿真数据学习一个可泛化的感知系统，使机器人能够仅使用单目相机避开碰撞。我们在真实世界的微型飞行器避障任务上展示了我们的方法，结果表明，仅需一小时的真实世界数据，四旋翼飞行器便能在具有不同光照条件与几何结构的新环境中避开碰撞。代码、飞行器构建说明及实验视频可在 github.com/gkahn13/GtS 找到。
引用
@article{arxiv.1902.03701,
title = {Generalization through Simulation: Integrating Simulated and Real Data into Deep Reinforcement Learning for Vision-Based Autonomous Flight},
author = {Katie Kang and Suneel Belkhale and Gregory Kahn and Pieter Abbeel and Sergey Levine},
journal= {arXiv preprint arXiv:1902.03701},
year = {2019}
}
备注
First three authors contributed equally. Accepted to ICRA 2019