开启深度学习的黑盒：在视网膜图像中验证可解释人工智能与临床领域知识的统计关联性
计算机视觉与模式识别
2025-04-08 v1
摘要
尽管深度学习在各种医学图像任务中展现出卓越的预测能力，但其内在的黑盒特性阻碍了在实际医疗环境中的广泛应用。我们的目标是通过采用多种 Class Activation Map (CAM) 技术生成模型关注区域，并将其与解剖区域（视网膜 cups、视盘和血管）的临床领域知识进行比较来揭示深度学习模型在眼底图像中进行青光眼分类决策过程。我们开发了四个深度神经网络，包括 VGG-11、ResNet-18、DeiT-Tiny 和 Swin Transformer-Tiny，使用青光眼和非青光眼的二元诊断标签。我们采用五种 CAM 方法（Grad-CAM、XGrad-CAM、Score-CAM、Eigen-CAM 和 Layer-CAM）来突出显示模型关注区域。我们应用配对样本 t 检验来比较模型关注区域中解剖结构的百分比与整个图像中解剖结构的比例。随后，我们实施了 Pearson 和 Spearman 相关性检验来检验模型预测能力与模型关注区域中解剖结构百分比之间的关系。在五个公开青光眼数据集上，所有深度学习模型都一致显示出模型关注区域中解剖结构的百分比显著高于整个图像中解剖结构的比例。我们还验证了模型关注区域中解剖结构百分比与模型预测性能之间的正相关关系。我们的研究通过严格的统计检验提供了深度神经网络决策逻辑与人类临床医生一致性的证据。我们预计这可以帮助缓解临床医生对深度学习在医疗保健领域可信度的担忧。为提高可重复性，我们已在 GitHub 上发布了代码和数据集。
引用
@article{arxiv.2504.04549,
title = {Opening the black box of deep learning: Validating the statistical association between explainable artificial intelligence (XAI) and clinical domain knowledge in fundus image-based glaucoma diagnosis},
author = {Han Yuan and Lican Kang and Yong Li},
journal= {arXiv preprint arXiv:2504.04549},
year = {2025}
}