CAManim：端到端网络激活图动画化
计算机视觉与模式识别
2023-12-20 v1
摘要
由于其高性能以及对开发者和特定应用终端用户的易用性，深度神经网络已被广泛采用于众多领域。基于图像的应用的基础是卷积神经网络的发展，它具备从数据中自动提取特征的能力。然而，理解这些通常包含数百万参数和众多层的复杂模型及其学习到的表示，对开发者和终端用户而言仍是一项挑战。这一挑战的出现是由于缺乏可解释且透明的工具来理解黑盒模型。可解释人工智能领域存在大量不断增长的文献，包括一类被称为类激活图的方法，旨在揭示模型从数据中学到了什么表示、它如何为给定预测提供信息，以及为何在某些任务中有时表现不佳。我们提出了一种名为 CAManim 的新型 XAI 可视化方法，旨在通过将基于 CAM 的网络激活图在各层间进行动画化，来同时拓宽并聚焦终端用户对 CNN 预测的理解，有效地描绘出模型如何端到端地逐步达到最终层激活。在本文中，我们展示了 CAManim 适用于任何基于 CAM 的方法和各种 CNN 架构。除了定性模型评估外，我们还提出了一种基于移除与去偏置指标扩展的新型定量评估，将定性的端到端网络视觉解释评估与我们新颖的定量“黄砖 ROAD”评估 相结合。这建立在先前研究的基础上，以满足对可解释、鲁棒且透明的模型评估方法日益增长的需求，最终提高终端用户对给定模型预测的信任度。
引用
@article{arxiv.2312.11772,
title = {CAManim: Animating end-to-end network activation maps},
author = {Emily Kaczmarek and Olivier X. Miguel and Alexa C. Bowie and Robin Ducharme and Alysha L. J. Dingwall-Harvey and Steven Hawken and Christine M. Armour and Mark C. Walker and Kevin Dick},
journal= {arXiv preprint arXiv:2312.11772},
year = {2023}
}