FalconGym: 面向零样本仿真到真实迁移的逼真视觉四旋翼导航仿真框架

我们提出了一个新颖的框架，展示了在神经辐射场(NeRF)环境中学习到的视觉控制策略向真实环境的零样本仿真到真实迁移，用于四旋翼穿越竞速门。从仿真到真实飞行的鲁棒迁移提出了重大挑战，因为标准仿真器通常缺乏足够的视觉保真度。为了解决这一问题，我们构建了一个逼真的四旋翼竞速赛道仿真环境，称为 FalconGym，它为训练提供了几乎无限的合成图像。在 FalconGym 中，我们开发了一种穿越门的流水线方法，结合了 与卡尔曼滤波器耦合的神经位姿估计器(NPE)，用于从单帧 RGB 图像和 IMU 数据中可靠地推断四旋翼位姿，以及 基于自注意力的多模态控制器，自适应地融合视觉特征和位姿估计。这种多模态设计补偿了感知噪声和间歇性的门可见性问题。我们纯粹在 FalconGym 中通过模仿学习训练该控制器，并将所得策略部署到真实硬件上，无需额外微调。在三条不同赛道（圆形、U 形和 8 字形）上的仿真实验表明，我们的控制器在成功率和穿越门精度上均优于仅依赖视觉的最先进基线。在跨越三条赛道和 120 个门的 30 次实际硬件飞行中，我们的控制器实现了 95.8% 的成功率，并且在穿越半径为 38 cm 的门时平均误差仅为 10 cm。