在扩散模型中解释：通过文本到图像扩散模型进行分层语义解释分类器
计算机视觉与模式识别
2024-12-25 v1
摘要
分类器是许多计算机视觉任务中的重要组件，构成广泛应用模型的基础性骨架。然而，理解分类器的决策过程仍是一大挑战。我们提出了 DiffEx，一种新方法，利用文本到图像扩散模型的能力来解释分类器决策。不同于传统基于 GAN 的可解释性模型，其仅限于简单、单概念分析，通常需要为每个分类器训练新模型；本方法可解释聚焦单一概念（如面孔或动物）的分类器，也可解释处理复杂场景中多个概念的分类器。DiffEx 采用视觉语言模型创建语义层级列表，使用户不仅能识别影响分类器的总体语义（如面部分类器中的“胡须”语义），还能识别其子类型，如“胡子”或“巴尔博”胡须。我们的实验表明，DiffEx 能覆盖的语义范围显著超过其 GAN 对手，提供一种分层工具，为对分类器决策提供更详细、更细粒度的理解。
关键词
引用
@article{arxiv.2412.18604,
title = {Explaining in Diffusion: Explaining a Classifier Through Hierarchical Semantics with Text-to-Image Diffusion Models},
author = {Tahira Kazimi and Ritika Allada and Pinar Yanardag},
journal= {arXiv preprint arXiv:2412.18604},
year = {2024}
}