基于区域定位与修复联合机制防御对抗补丁

深度神经网络已成功应用于各类任务，但其对对抗样本表现出脆弱性。随着对抗补丁的发展，物理场景中攻击的可行性增加，针对补丁攻击的防御亟待解决。然而，防御此类对抗补丁攻击仍是一个未解难题。本文分析了对抗补丁的性质，发现：一方面，对抗补丁会导致目标物体出现外观或上下文不一致；另一方面，补丁区域在骨干网络提取的物体高层特征图上会呈现异常变化。鉴于上述两点，我们提出一种基于“定位与修复”机制的新颖防御方法，对输入样本进行预处理。具体而言，我们设计了一个统一框架，其中“定位”子网络利用双分支结构表征上述两方面，以准确检测图像中的对抗补丁区域。对于“修复”子网络，其利用周围上下文线索恢复被对抗补丁覆盖的原始内容。修复图像的质量还通过测量外观一致性及对抗攻击效果进行评估。随后，这两个子网络通过迭代优化方式联合训练。如此，“定位”与“修复”模块可紧密交互，从而学习到更优解。我们在交通标志分类与检测任务上开展了一系列实验，以防御多种对抗补丁攻击。