一种用于生成显著性图以解释深度学习模型推断决策的模型无关方法
计算机视觉与模式识别
2022-09-28 v2 机器学习
摘要
黑盒 AI 模型的广泛使用引发了对解释这些模型所做决策的算法与方法的迫切需求。近年来，随着黑盒模型承担越来越复杂和具有挑战性的任务，AI 研究界对模型可解释性的兴趣与日俱增。考虑到深度学习技术在广泛应用（包括但不限于计算机视觉）中的主导地位，可解释性变得至关重要。为理解深度学习模型的推断过程，已开发出许多为 AI 模型决策提供人类可理解证据的方法，其中绝大多数依赖于访问这些模型的内部架构与参数（例如神经网络的权重）来运作。我们提出一种模型无关的显著性图生成方法，其仅访问模型输出，无需梯度等额外信息。我们使用差分进化（DE）来识别图像像素中对模型决策过程影响最大者，并生成类激活图（CAMs），其质量可与使用模型专用算法创建的 CAMs 相媲美。DE-CAM 在不要求访问模型架构内部细节的情况下取得了良好性能，代价是更高的计算复杂度。
引用
@article{arxiv.2209.08906,
title = {A model-agnostic approach for generating Saliency Maps to explain inferred decisions of Deep Learning Models},
author = {Savvas Karatsiolis and Andreas Kamilaris},
journal= {arXiv preprint arXiv:2209.08906},
year = {2022}
}