神经影像学的可解释 AI 方法：常见工具的系统性失效、域特定验证的必要性及其安全应用的建议
机器学习
2025-08-07 v1 计算机视觉与模式识别
图像与视频处理
神经元与认知
机器学习
摘要
可信的深度学习模型解释对于神经影像学应用至关重要，但常用的可解释 AI (XAI) 方法缺乏严格的验证，风险导致误解。在本文中，我们首次进行大规模、系统性比较测试了约 45,000 例结构脑 MRI 数据集，构建了一个新型的 XAI 验证框架。该框架通过构建带有已知信号来源的预测任务来建立可验证的基准——从局部解剖特征到主体特定临床病灶，均无需人工改变输入图像。我们的分析揭示了两种最广泛使用的两种方法的系统性失效：GradCAM 持续未能局部化预测特征，而基于图层的相关性传播 (Layer-wise Relevance Propagation) 生成大量人工信息的解释，表明其与神经影像学数据特征不兼容。我们的结果表明，这些失效源于领域错位——自然图像导向的设计原则方法需要针对神经影像学数据进行大量适应。相比之下，较简单基于梯度的方法 SmoothGrad 始终准确，表明其概念简单性使其对这一领域迁移更具鲁棒性。这一发现凸显了 XAI 方法需要进行域特定适应和验证的必要性，表明使用标准 XAI 方法的神经影像学研究的解释值得重新评估，并为神经影像学中的 XAI 实际应用提供了紧迫指导。
引用
@article{arxiv.2508.02560,
title = {Explainable AI Methods for Neuroimaging: Systematic Failures of Common Tools, the Need for Domain-Specific Validation, and a Proposal for Safe Application},
author = {Nys Tjade Siegel and James H. Cole and Mohamad Habes and Stefan Haufe and Kerstin Ritter and Marc-André Schulz},
journal= {arXiv preprint arXiv:2508.02560},
year = {2025}
}