探究并简化基于掩码的显著性方法以提升模型可解释性
计算机视觉与模式识别
2020-10-21 v1
摘要
能够识别图像中对分类器最具信息量的区域的显著性图对于模型可解释性而言很有价值。生成显著性图的一种常见方法是产生输入掩码，通过掩蔽图像的部分区域以最大程度地恶化分类性能，或掩蔽入图像以保留分类性能。文献中已提出该方法的许多变体，例如反事实生成和基于 Gumbel-Softmax 分布的优化。利用基于掩码的显著性方法的通用表述，我们对若干近期提出的变体进行了广泛的评估研究，以理解这些方法中的哪些要素切实提升了性能。令人惊讶的是，我们发现一个经过良好调优、相对简单的基于掩码的显著性模型表述优于许多更复杂的方法。我们发现高质量显著性图生成的最关键要素是：(1) 同时使用掩蔽入和掩蔽出的目标，以及 (2) 与掩码模型一同训练分类器。引人注目的是，我们表明掩码模型每类仅用少至 10 个样本进行训练，仍能够生成定位误差仅增加 0.7 个百分点的显著性图。
引用
@article{arxiv.2010.09750,
title = {Investigating and Simplifying Masking-based Saliency Methods for Model Interpretability},
author = {Jason Phang and Jungkyu Park and Krzysztof J. Geras},
journal= {arXiv preprint arXiv:2010.09750},
year = {2020}
}