RestoreX-AI：一种通过可解释 AI 系统引导图像复原的对比学习方法
图像与视频处理
2022-04-06 v1 计算机视觉与模式识别
摘要
自动驾驶汽车与无人机等现代应用高度依赖鲁棒的目标检测技术。然而，天气退化会妨碍目标的可检测性，并对其导航与可靠性构成严重威胁。因此，亟需高效的去噪、去雨与复原技术。生成对抗网络与 transformer 已被广泛用于图像复原。但这些方法的训练往往不稳定且耗时。此外，当用于目标检测（OD）时，这些方法生成的输出图像尽管清晰，却可能给出不尽人意的结果。在本工作中，我们提出一种对比学习方法以缓解该问题，通过在训练期间及训练后评估复原模型所生成的图像。该方法结合 OD 分数与注意力图，以预测复原图像对于 OD 任务的有用性。我们利用条件 GAN 的两种新用例以及两种 transformer 方法开展实验，考察所提方法在多天气退化 OD 任务中的鲁棒性。在沙尘暴与降雪等恶劣天气条件下，我们的方法在输入与复原图像之间实现了平均 178% 的 mAP 提升。我们报告了一些独特情形：更强的去噪并未改善 OD 性能，反之含噪生成图像却展现出良好结果。我们总结指出，亟需可解释性框架以弥合人类与机器感知之间的鸿沟，尤其在自动驾驶车辆鲁棒目标检测的背景下。
引用
@article{arxiv.2204.01719,
title = {RestoreX-AI: A Contrastive Approach towards Guiding Image Restoration via Explainable AI Systems},
author = {Aboli Marathe and Pushkar Jain and Rahee Walambe and Ketan Kotecha},
journal= {arXiv preprint arXiv:2204.01719},
year = {2022}
}
备注
Under review