用于鲁棒视觉控制的泛化图像修复

基于视觉的控制依赖于准确的感知来实现鲁棒性。然而，由传感器噪声、恶劣天气和动态光照引起的图像分布变化会降低感知性能，从而导致次优的控制决策。现有方法（包括领域自适应和对抗训练）提高了鲁棒性，但在泛化到未见过的损坏时仍存在困难，同时引入了计算开销。为了应对这一挑战，我们提出了一个实时图像修复模块，在损坏图像被控制器使用之前将其恢复。我们的方法利用生成对抗模型，特别是 CycleGAN 和 pix2pix，进行图像修复。CycleGAN 实现了非配对的图像到图像转换以适应新型损坏，而 pix2pix 在可用时利用配对图像数据来提高质量。为了确保与控制性能的对齐，我们引入了一个以控制为中心的损失函数，优先考虑修复图像中的感知一致性。我们在具有各种视觉损坏的模拟自动驾驶赛车环境中评估了我们的方法。结果表明，与基线相比，我们的方法显著提高了性能，减轻了分布偏移并增强了控制器的可靠性。