DEPICT:面向图像分类任务的扩散模型驱动的排列重要性方法
计算机视觉与模式识别
2024-07-22 v1 人工智能
摘要
我们提出了一种基于排列的图像分类器解释方法。当前的图像模型解释,如激活图,仅限于像素空间中的实例级解释,这使得理解全局模型行为变得困难。相比之下,针对表格数据分类器的基于排列的解释方法,通过比较排列某个特征前后模型性能的变化来衡量特征重要性。我们提出了一种针对图像模型的解释方法,该方法在数据集图像间排列可解释的概念。给定一个标注了特定概念(如图说)的图像数据集,我们在文本空间中跨样本排列一个概念,然后通过文本条件的扩散模型生成图像。特征重要性随后通过模型性能相对于未排列数据的变化来反映。当应用于一组概念时,该方法会生成特征重要性排序。我们展示了该方法在合成和真实世界图像分类任务上能够恢复底层的模型特征重要性。
引用
@article{arxiv.2407.14509,
title = {DEPICT: Diffusion-Enabled Permutation Importance for Image Classification Tasks},
author = {Sarah Jabbour and Gregory Kondas and Ella Kazerooni and Michael Sjoding and David Fouhey and Jenna Wiens},
journal= {arXiv preprint arXiv:2407.14509},
year = {2024}
}
备注
36 pages, 18 figures, 9 tables, to be published in ECCV 2024