CAMERAS：用于图像显著性的增强分辨率且保持合理性的类激活映射方法
计算机视觉与模式识别
2021-06-22 v1 人工智能
机器学习
摘要
反向传播图像显著性旨在通过估计输入中各个像素的以模型为中心的重要性来解释模型预测。然而，网络中前层对类别的不敏感性仅允许使用深层低分辨率激活图计算显著性，导致图像显著性受损。对此进行补救可能导致合理性失效。我们提出CAMERAS，一种无需任何外部先验且保持映射合理性的高保真反向传播显著性图计算方法。我们的方法系统地执行激活图与反向传播梯度的多尺度累积与融合，以计算精确的显著性图。从准确的图像显著性，到阐明不同模型对输入特征的相对重要性，再到精确区分视觉相似对象的模型感知，我们的高分辨率映射为黑盒深度视觉模型提供了多种新颖见解，本文对此进行了展示。我们还通过在对抗设置中利用我们的显著性图将攻击信号的范数大幅降低（通过将其聚焦于我们映射所识别的精确区域）来演示其实用性。我们的方法还启发了该发展中研究方向的新评估指标与合理性检验。代码见 https://github.com/VisMIL/CAMERAS
引用
@article{arxiv.2106.10649,
title = {CAMERAS: Enhanced Resolution And Sanity preserving Class Activation Mapping for image saliency},
author = {Mohammad A. A. K. Jalwana and Naveed Akhtar and Mohammed Bennamoun and Ajmal Mian},
journal= {arXiv preprint arXiv:2106.10649},
year = {2021}
}
备注
IEEE CVPR 2021 paper