只需 RAW：利用相机图像管线防御对抗攻击
计算机视觉与模式识别
2022-03-21 v2 图像与视频处理
摘要
现有的计算机视觉任务神经网络易受对抗攻击：向输入图像添加难以察觉的扰动即可误导这些方法，使原本无扰动时能正确预测的图像产生错误预测。各类防御方法提出了图像到图像的映射方法，要么在训练过程中将这些扰动纳入考虑，要么在预处理去噪步骤中将其去除。在此过程中，现有方法常忽略一个事实：当今数据集中的自然 RGB 图像并非直接采集，而是从受采集过程中多种退化影响的 RAW 彩色滤波阵列捕获中恢复得到。本工作中，我们利用该 RAW 数据分布作为对抗防御的经验先验。具体而言，我们提出了一种与模型无关的对抗防御方法，其使用学习到的相机图像信号处理（ISP）管线将输入 RGB 图像映射到 Bayer RAW 空间，再映射回输出 RGB，以消除潜在的对抗模式。所提方法充当即插即用的预处理模块，且与依赖模型的对抗训练方法不同，无需对抗图像进行训练。因此，该方法可泛化至未见过任务而无需额外重训练。在大规模数据集（如 ImageNet、COCO）上针对不同视觉任务（如分类、语义分割、目标检测）的实验验证表明，该方法在各任务域上显著优于现有方法。
引用
@article{arxiv.2112.09219,
title = {All You Need is RAW: Defending Against Adversarial Attacks with Camera Image Pipelines},
author = {Yuxuan Zhang and Bo Dong and Felix Heide},
journal= {arXiv preprint arXiv:2112.09219},
year = {2022}
}