论视觉Transformer解释的忠实性

为了解释视觉Transformer，事后解释方法将显著性分数分配给输入像素，提供人类可理解的热力图。然而，这些解释是否反映了模型输出背后的真正理由仍未被充分探索。为了解决这一差距，我们研究了解释的忠实性准则：分配的显著性分数应代表相应输入像素对模型预测的影响。为了评估忠实性，我们引入了显著性引导的忠实性系数（SaCo），一种利用显著性分布关键信息的新型评估指标。具体来说，我们在不同的像素组之间进行成对比较，然后聚合它们显著性分数的差异，得到一个指示解释忠实程度的系数。我们的探索表明，当前的指标难以区分先进的解释方法和随机归因，从而无法捕捉忠实性属性。相比之下，我们提出的SaCo提供了可靠的忠实性度量，为解释建立了稳健的指标。此外，我们的SaCo表明，使用梯度和多层聚合可以显著增强基于注意力的解释的忠实性，为推进视觉Transformer可解释性揭示了潜在路径。