通过注意力精炼实现针对基于图像块攻击的鲁棒语义分割
计算机视觉与模式识别
2024-05-10 v2
摘要
近年来，注意力机制已被证明在多种视觉任务中有效。在语义分割任务中，注意力机制被应用于各种方法，包括以卷积神经网络（CNN）和视觉Transformer（ViT）作为骨干网络的情形。然而，我们观察到注意力机制容易受到基于图像块的对抗攻击。通过对有效感受野的分析，我们将此归因于全局注意力带来的宽感受野可能导致对抗图像块影响的扩散。为解决这一问题，本文提出了一种鲁棒注意力机制（Robust Attention Mechanism, RAM），以提升语义分割模型的鲁棒性，能够显著缓解针对基于图像块攻击的脆弱性。与普通注意力机制相比，RAM 引入了两个新颖模块，称为最大注意力抑制（Max Attention Suppression）和随机注意力丢弃（Random Attention Dropout），两者均旨在精炼注意力矩阵，并限制单个对抗图像块对其他位置语义分割结果的影响。大量实验证明了我们的 RAM 在不同攻击设置下，针对各种基于图像块的攻击方法，提升语义分割模型鲁棒性的有效性。
引用
@article{arxiv.2401.01750,
title = {Towards Robust Semantic Segmentation against Patch-based Attack via Attention Refinement},
author = {Zheng Yuan and Jie Zhang and Yude Wang and Shiguang Shan and Xilin Chen},
journal= {arXiv preprint arXiv:2401.01750},
year = {2024}
}
备注
Accepted by International Journal of Computer Vision (IJCV).34 pages, 5 figures, 16 tables