Tube-NeRF：利用管引导数据增强与 NeRF 从 MPC 高效模仿学习视觉运动策略
机器人学
2024-02-27 v2 人工智能
机器学习
摘要
模仿学习（IL）可从资源密集的模型预测控制器（MPC）训练出计算高效的传感运动策略，但往往需要大量样本，导致训练时间长或鲁棒性有限。为解决这些问题，我们将 IL 与一种考虑过程与感知不确定性的鲁棒 MPC 变体相结合，并设计了一种数据增强（DA）策略，以实现基于视觉策略的高效学习。所提出的 DA 方法名为 Tube-NeRF，利用神经辐射场（NeRFs）生成新的合成图像，并使用鲁棒 MPC 的管（tube）特性来选择相关视角并高效计算相应动作。我们针对多旋翼的定位与轨迹跟踪任务定制了该方法，通过学习一种视觉运动策略，仅以机载相机图像作为水平位置的唯一来源来生成控制动作。数值评估显示，相较于当前 IL 方法，示范效率提升 80 倍，训练时间减少 50%。此外，我们的策略成功迁移至真实多旋翼，在存在大扰动情况下仍实现低跟踪误差，机载推理时间仅 1.5 ms。视频：https://youtu.be/_W5z33ZK1m4
引用
@article{arxiv.2311.14153,
title = {Tube-NeRF: Efficient Imitation Learning of Visuomotor Policies from MPC using Tube-Guided Data Augmentation and NeRFs},
author = {Andrea Tagliabue and Jonathan P. How},
journal= {arXiv preprint arXiv:2311.14153},
year = {2024}
}
备注
Video: https://youtu.be/_W5z33ZK1m4. Evolved paper from our previous work: arXiv:2210.10127