GIFT：面向视觉分类器的全局可解释、可靠 textual 解释框架

理解深度视觉模型的决策过程对于其在实际场景中的安全可靠部署至关重要。现有的解释方法，如显著性图或概念分析，常受限于可信度、局部范围或语义模糊。我们引入GIFT，一个后置框架，旨�推导出全局、可解释、可靠且 textual 的解释。GIFT首先生成大量可靠的局部视觉反事实样本，然后利用视觉语言模型将这些反事实转换为关于视觉变化的自然语言描述。这些局部解释被大型语言模型聚合为关于模型全局决策规则的简洁、人类可读的假设。至关重要的是，GIFT包含一个验证阶段，通过对图像进行干预来定量评估每个提议解释的因果效应，确保最终的 textual 解释始终可靠地反映模型的真实推理过程。在包括合成CLEVR基准、真实人脸CelebA和复杂驾驶场景BDD等多种数据集上，GIFT不仅揭示了有意义的分类规则，还揭示了驱动模型行为的意外偏见和潜在概念。总体而言，GIFT弥合了局部反事实推理与全局可解释性之间的鸿沟，提供了一个以因果为基础的 textual 解释视觉模型的原则方法。