深度学习解释的集成特征分析与类激活图
计算机视觉与模式识别
2024-10-23 v1 人工智能
摘要
理解深度学习（DL）模型的决策对于DL在风险敏感应用中的接受至关重要。虽然诸如类激活图（CAM）等方法能提供黑箱的部分洞见，但它们遗漏了关键信息，限制了可解释性，仅提供所考虑对象的位置。为了提供更深入的模型和数据集影响， 我们提出一种集成特征分析方法，包括特征分布分析和特征分解，以更深入地了解DL模型提取的中间特征。该集成特征分析可提供有关过拟合、混杂因素、数据集中的异常值、模型冗余以及模型提取的主导特征的信息，并提供分布信息以形成常见强度尺度，这些在当前CAM算法中所缺失。将集成特征分析应用于八个不同的数据集进行通用验证：手写数字照片、两个自然图像数据集和五个医学数据集，包括皮肤摄影、超声、CT、X光和MRI。该方法通过计算CAM平均类激活水平与模型logits之间的一致性进行评估。基于八个数据集，我们的方法相关系数全部非常接近100%，而基于特征分解，5%-25%的特征可生成同样信息丰富的显著性图并获得与使用所有特征相同的数据集性能。这证明了集成特征分析的可靠性。由于所提出的方法依赖于很少的假设，这是一步通向更好模型解释和对现有CAM算法的有用扩展。代码：https://github.com/YanliLi27/IFA
引用
@article{arxiv.2407.01142,
title = {Integrated feature analysis for deep learning interpretation and class activation maps},
author = {Yanli Li and Tahereh Hassanzadeh and Denis P. Shamonin and Monique Reijnierse and Annette H. M. van der Helm-van Mil and Berend C. Stoel},
journal= {arXiv preprint arXiv:2407.01142},
year = {2024}
}
备注
13 pages, 11 figures, code available: https://github.com/YanliLi27/IFA This work has been submitted to the IEEE for possible publication