DEXTER：基于扩散引导与文本推理的视觉模型解释方法

理解和解释机器学习模型的行为对于构建透明且可信赖的人工智能系统至关重要。我们介绍了DEXTER，一个无数据框架，它利用扩散模型和大语言模型为视觉分类器生成全局的、文本形式的解释。DEXTER通过优化文本提示来合成能强烈激活目标分类器的类别条件图像。然后，这些合成样本被用来生成详细的自然语言报告，描述类别特定的决策模式和偏差。与先前的工作不同，DEXTER能够在无需访问训练数据或真实标签的情况下，对分类器的决策过程进行自然语言解释。我们在三个任务上展示了DEXTER的灵活性：激活最大化、切片发现与去偏，以及偏差解释，每个任务都体现了其揭示视觉分类器内部机制的能力。定量和定性评估，包括一项用户研究，表明DEXTER能产生准确、可解释的输出。在ImageNet、Waterbirds、CelebA和FairFaces上的实验证实，DEXTER在全局模型解释和类别级偏差报告方面优于现有方法。代码可在https://github.com/perceivelab/dexter获取。