为何匹配？解释图像相似性模型的行为
计算机视觉与模式识别
2020-08-25 v2
摘要
解释深度学习模型可帮助用户理解其行为，并让研究人员辨别其缺陷。近期工作主要聚焦于解释图像分类或视觉问答等任务的模型。本文中，我们引入显著属性网络解释法（SANE）来解释图像相似性模型，其中模型输出是度量两个输入相似度的分数而非分类分数。在该任务中，解释依赖于两幅输入图像，因此标准方法不适用。我们的 SANE 解释将识别重要图像区域的显著图与最能解释匹配的属性配对。我们发现，我们的解释提供了显著图单独通常无法捕获的额外信息，并且还能提升经典属性识别任务的性能。我们在来自不同领域的两个数据集 Polyvore Outfits 和 Animals with Attributes 2 上展示了方法的泛化能力。代码见：https://github.com/VisionLearningGroup/SANE
引用
@article{arxiv.1905.10797,
title = {Why do These Match? Explaining the Behavior of Image Similarity Models},
author = {Bryan A. Plummer and Mariya I. Vasileva and Vitali Petsiuk and Kate Saenko and David Forsyth},
journal= {arXiv preprint arXiv:1905.10797},
year = {2020}
}
备注
Accepted at ECCV 2020