理解（非）寻常：用基于原型的解释验证深度模型决策
计算机视觉与模式识别
2024-04-30 v2 人工智能
摘要
在医学等高风险应用中部署深度神经网络（DNNs）时，确保透明性与安全性至关重要。可解释 AI（XAI）领域已提出多种方法来理解不透明 DNN 的决策过程。然而，仅有少数 XAI 方法适合在实际中保障安全，因为它们严重依赖重复且劳动密集、可能存在偏差的人工评估。本文提出一种新颖的事后基于概念的可解释 AI 框架，除实例级（局部）外，还通过原型传达类别级（全局）决策策略。我们方法的独特之处在于结合局部与全局策略，相比预期（原型）概念使用，能更清晰地理解模型决策的（不）相似性，最终减少对人工长期评估的依赖。量化偏离原型行为的程度不仅可将预测与特定模型子策略关联，还能检测离群行为。因此，我们的方法构成了一种直观且可解释的模型验证工具。我们在 ImageNet、CUB-200 和 CIFAR-10 三个数据集上利用 VGG、ResNet 和 EfficientNet 架构，证明了该方法在识别分布外样本、虚假模型行为及数据质量问题上的有效性。代码见 https://github.com/maxdreyer/pcx。
引用
@article{arxiv.2311.16681,
title = {Understanding the (Extra-)Ordinary: Validating Deep Model Decisions with Prototypical Concept-based Explanations},
author = {Maximilian Dreyer and Reduan Achtibat and Wojciech Samek and Sebastian Lapuschkin},
journal= {arXiv preprint arXiv:2311.16681},
year = {2024}
}
备注
39 pages (8 pages manuscript, 3 pages references, 28 pages appendix)