显著性图的合理性检验

显著性方法已成为一种流行工具，用于突出输入中被视为与所学模型预测相关的特征。已有若干显著性方法被提出，常以图像数据上的视觉吸引力为指导。在这项工作中，我们提出了一种可操作的方法论，用以评估给定方法能够提供和不能提供何种类型的解释。我们发现仅依赖视觉评估可能产生误导。通过大量实验，我们表明一些现有的显著性方法既独立于模型，也独立于数据生成过程。因此，未能通过所提测试的方法不适用于对数据或模型敏感的任务，例如寻找数据中的离群点、解释模型学到的输入与输出之间的关系，以及调试模型。我们通过图像中边缘检测的类比来解释我们的发现，该技术要求既不需要训练数据也不需要模型。线性模型和单层卷积神经网络情况下的理论支持了我们的实验发现。