对抗成像流水线
计算机视觉与模式识别
2021-02-22 v2 图像与视频处理
摘要
对抗攻击在理解深度神经网络预测和提升其鲁棒性方面起着重要作用。现有攻击方法旨在通过操纵直接输入分类器的RGB图像来欺骗基于卷积神经网络(CNN)的分类器。然而,这些方法通常忽略了产生网络输入的相机光学和图像处理流水线(ISP)的影响。ISP将RAW测量转换为RGB图像,传统上被认为能保留对抗模式。但事实上,这些底层流水线可以破坏、引入或放大欺骗下游检测器的对抗模式。结果,优化后的模式在经过特定相机ISP和光学变换后可能对分类器变为对抗性的,而对其他则不然。在本工作中,我们研究并开发了这样一种攻击:使用相同的下游分类器,欺骗特定相机ISP而保持其他ISP不受影响。我们将相机特定攻击构建为一个多任务优化问题,依赖于ISP本身的可微近似。我们使用近期最先进的汽车硬件ISP验证了所提方法,在攻击特定ISP时达到92%的欺骗率。我们展示了针对特定相机镜头的物理光学攻击,欺骗率达90%。
引用
@article{arxiv.2102.03728,
title = {Adversarial Imaging Pipelines},
author = {Buu Phan and Fahim Mannan and Felix Heide},
journal= {arXiv preprint arXiv:2102.03728},
year = {2021}
}