通过相机运动平滑实现视觉感知模型的鲁棒性认证

大量文献表明基于学习的视觉感知模型对对抗噪声敏感，但极少有工作考虑机器人感知模型在广泛存在的相机运动扰动下的鲁棒性。为此，我们研究视觉感知模型在相机运动扰动下的鲁棒性，以探究相机运动对机器人感知的影响。具体而言，我们提出一种面向任意图像分类模型的运动平滑技术，其在该类相机运动扰动下的鲁棒性可被认证。所提出的基于相机运动平滑的鲁棒性认证框架为视觉感知模块提供了紧致且可扩展的鲁棒性保证，从而使其适用于广泛的机器人应用。据我们所知，这是首个针对深度感知模块抵御相机运动提供鲁棒性认证的工作，提升了机器人感知的可信度。我们引入了一个带有整个房间稠密点云地图的逼真室内机器人数据集 MetaRoom，用于这一具有挑战性的可认证鲁棒感知任务。我们进行了大量实验，以验证通过运动平滑抵御相机运动扰动的认证方法。我们的框架针对沿深度方向 -0.1m ~ 0.1m 范围内的相机平移扰动提供了 81.7% 的认证准确率保证。我们还在真实世界机器人上通过在带眼在手相机的机械臂上进行硬件实验验证了方法的有效性。代码见 https://github.com/HanjiangHu/camera-motion-smoothing。