基于原型的图像分类中补丁可视化的合理性检验与改进
计算机视觉与模式识别
2023-05-16 v2 人工智能
机器学习
摘要
在本工作中，我们对两个流行的基于原型的视觉分类自解释模型——ProtoPNet 和 ProtoTree——中所实现的可视化方法进行了深入分析。使用两个细粒度数据集（CUB-200-2011 和 Stanford Cars），我们首先表明此类方法未能正确识别图像内部的感兴趣区域，因此不反映模型行为。其次，使用删除度量，我们从定量上证明如 Smoothgrads 或 PRP 等显著性方法提供了更忠实的图像补丁。我们还提出了一种基于某些数据集（如 CUB-200-2011）中提供的对象分割的新相关性度量，并表明 ProtoPNet 和 ProtoTree 生成的不精确补丁可视化会造成错误的偏差感，而可通过使用更忠实的方法缓解。最后，我们讨论了我们的发现对共享相同可视化方法的其他基于原型的模型的影响。
引用
@article{arxiv.2302.08508,
title = {Sanity checks and improvements for patch visualisation in prototype-based image classification},
author = {Romain Xu-Darme and Georges Quénot and Zakaria Chihani and Marie-Christine Rousset},
journal= {arXiv preprint arXiv:2302.08508},
year = {2023}
}