面向细粒度可解释性的中间表示两两匹配
计算机视觉与模式识别
2025-08-05 v2 人工智能
摘要
属于细粒度类别的图像之间的差异往往微妙且高度局部化，现有的深度学习模型解释技术往往过于宽泛，难以提供有用且可解释的解释。我们提出一种新的解释方法 (PAIR-X)，该方法利用中间模型激活和反向传播相关性得分，以生成细粒度且高度局部化的两两视觉解释。我们以动物和建筑物重新识别 (re-ID) 为主要案例研究，并在 35 个公开 re-ID 数据集上演示其在多样化解释基准上的定性改进结果。在访谈中，动物 re-ID 专家认为 PAIR-X 对深度模型解释性的改进具有意义，其可视化结果可直接应用于他们的工作。我们还提出了一种新的定量评估指标，用于评估该方法，结果表明即使在模型相似度得分相同的情况下，PAIR-X 生成的可视化结果在正确图像匹配和错误匹配之间也更具可信度。通过提高可解释性，PAIR-X 使人类能够更好地区分正确和错误的匹配。我们的代码已在 https://github.com/pairx-explains/pairx 上提供。
引用
@article{arxiv.2503.22881,
title = {Pairwise Matching of Intermediate Representations for Fine-grained Explainability},
author = {Lauren Shrack and Timm Haucke and Antoine Salaün and Arjun Subramonian and Sara Beery},
journal= {arXiv preprint arXiv:2503.22881},
year = {2025}
}