面向基于模型机器人控制的对抗性视觉场景合成

当今的机器人通常将数据驱动的感知与规划模型同经典的模型预测控制器（MPC）结合使用。此类学习得到的感知/规划模型在分布外（OoD）甚至对抗性视觉输入上常产生错误的航点预测，从而增加控制代价。然而，当前训练鲁棒感知模型的方法在很大程度上与任务无关——它们仅使用随机图像变换或针对孤立视觉模型的对抗样本进行数据集增强。因此，它们引入的像素扰动往往对控制最终无害。与先前为单步视觉任务合成对抗样本的工作不同，本文的核心贡献在于合成针对多步、基于模型控制的对抗性场景。为此，我们使用可微 MPC 方法计算基于模型控制器对状态估计误差的敏感度。我们证明，与标准的任务无关数据增强相比，在这些对抗性数据集上重新训练视觉模型，可将 OoD 测试场景下的控制性能提升高达 36.2%。我们在机器人导航、RoboSuite 中的操作以及自主飞行器控制等实例上演示了我们的方法。