TSGB：用于探测 CNN 视觉显著性的目标选择性梯度反向传播
计算机视觉与模式识别
2022-04-06 v2 机器学习
摘要
过去几年中，深度神经网络的解释性在深度学习领域引起了广泛关注。在本文中，我们研究视觉显著性（亦称视觉解释）以解释卷积神经网络。与基于迭代的显著性方法相比，基于单次反向传播的显著性方法具有更快的速度优势，并被广泛应用于下游视觉任务。因此，我们聚焦于基于单次反向传播的方法。然而，该类别中的现有方法难以成功生成集中于特定目标类别的细粒度显著性图。也就是说，使用单次反向传播生成同时满足目标选择性与细粒度性的忠实显著性图是该领域的一个挑战性问题。为缓解此问题，我们重新审视网络内部的梯度流，发现纠缠的语义与原始权重可能干扰目标相关显著性的传播。受这些观察启发，我们提出了一种新颖的视觉显著性方法，称为目标选择性梯度反向传播（TSGB），其利用修正操作有效强调目标类别并进一步将显著性高效传播至图像空间，从而生成目标选择性与细粒度的显著性图。所提 TSGB 包含两个组件，即 TSGB-Conv 和 TSGB-FC，分别针对卷积层和全连接层的梯度进行修正。在 ImageNet 和 Pascal VOC 数据集上的大量定性与定量实验表明，所提方法取得了比其他竞争方法更准确可靠的结果。代码见 https://github.com/123fxdx/CNNvisualizationTSGB。
引用
@article{arxiv.2110.05182,
title = {TSGB: Target-Selective Gradient Backprop for Probing CNN Visual Saliency},
author = {Lin Cheng and Pengfei Fang and Yanjie Liang and Liao Zhang and Chunhua Shen and Hanzi Wang},
journal= {arXiv preprint arXiv:2110.05182},
year = {2022}
}
备注
Accepted by IEEE Transactions on Image Processing. Index Terms: Model interpretability, explanation, saliency map, CNN visualization