Salient ImageNet：如何发现深度学习中的伪特征？

深度神经网络在真实世界中可能不可靠，尤其是当它们在预测中重度使用{\it 伪}特征时。聚焦于图像分类，我们将{\it 核心特征}定义为始终作为对象定义一部分的视觉特征集合，而{\it 伪特征}则是可能与对象{\it 共现}但不属于对象的部分（例如，类“创可贴”的属性“手指”）。传统的伪特征发现方法要么需要大量人工标注（因而不可扩展），要么仅对特定模型有用。在本工作中，我们引入一个{\it 通用}框架，以发现通用模型推理中所用伪特征与核心视觉特征的子集，并在最少人工监督下将其定位到大量图像上。我们的方法基于这一关键思想：为识别模型预测中使用的伪或核心\textit{视觉特征}，我们通过有限人工监督（例如，使用每特征激活最高的前 5 张图像）识别伪或核心\textit{神经特征}（鲁棒模型的倒数第二层神经元）。接着我们展示这些神经特征标注{\it 泛化}到更多图像时极好，且{\it 无需}任何人工监督。我们使用这些神经特征的激活图作为软掩码来高亮伪或核心视觉特征。利用该方法，我们引入了{\it Salient Imagenet} 数据集，包含来自 Imagenet 的大量样本的核心与伪掩码。使用该数据集，我们展示了若干流行 Imagenet 模型在预测中重度依赖多种伪特征，表明标准准确率本身不足以全面评估模型性能。用于复现论文中所有实验的代码与数据集见 \url{https://github.com/singlasahil14/salient_imagenet}。