验证深度神经网络注意力对语义扰动的鲁棒性
计算机视觉与模式识别
2022-07-14 v1
摘要
已知深度神经网络（DNNs）通过对某些特定像素给予特别关注来对输入图像分类；表示各像素关注量级的图形化表示称为显著图。显著图用于检查分类决策依据的有效性，例如，若 DNN 更关注图像背景而非主体，则不是有效的分类依据。语义扰动可显著改变显著图。本工作中，我们提出首个注意力鲁棒性验证方法，即显著图变化针对语义扰动组合时的局部鲁棒性。具体而言，我们的方法确定扰动参数（如亮度变化）的范围，使实际显著图变化与期望显著图变化之差维持在给定阈值以下。我们的方法基于激活区域遍历，聚焦于最外层鲁棒边界以在较大 DNN 上具备可扩展性。实验结果表明，我们的方法能展示 DNNs 在不受语义扰动影响的情况下以相同依据进行分类的程度，并报告了激活区域遍历的性能及其影响因素。
引用
@article{arxiv.2207.05902,
title = {Verifying Attention Robustness of Deep Neural Networks against Semantic Perturbations},
author = {Satoshi Munakata and Caterina Urban and Haruki Yokoyama and Koji Yamamoto and Kazuki Munakata},
journal= {arXiv preprint arXiv:2207.05902},
year = {2022}
}
备注
25 pages, 12 figures