利用合成数据集量化深度神经网络显著图方法的可解释性
计算机视觉与模式识别
2022-12-13 v6 人工智能
摘要
事后分析是可解释人工智能（XAI）研究中一个流行的类别。特别地，生成热力图的方法已被用于解释深度神经网络（DNN）这一黑盒模型。热力图因其直观和可视化的理解方式而具有吸引力，但评估其质量可能并不简单。评估热力图质量的不同方法各有优缺点。本文引入一个可即时生成的合成数据集，并附带真值热力图，以实现更客观的定量评估。每个样本数据是一幅细胞图像，具有易于识别的特征，且与定位真值掩码相区分，从而有助于对不同XAI方法进行更透明的评估。我们进行了比较并给出建议，澄清了局限性，同时提出了未来研究方向以处理所选事后分析方法的更精细细节。此外，我们引入了mabCAM作为一种与我们的真值热力图兼容的热力图生成方法。该框架易于泛化，且仅使用标准深度学习组件。
引用
@article{arxiv.2009.02899,
title = {Quantifying Explainability of Saliency Methods in Deep Neural Networks with a Synthetic Dataset},
author = {Erico Tjoa and Cuntai Guan},
journal= {arXiv preprint arXiv:2009.02899},
year = {2022}
}