Summit：通过可视化激活与归因摘要实现深度学习可解释性扩展
人机交互
2019-09-04 v3 计算机视觉与模式识别
机器学习
摘要
深度学习日益用于决策任务。然而，理解神经网络如何产生最终预测仍是一项根本挑战。现有关于解释图像神经网络预测的工作常聚焦于解释单张图像或单个神经元的预测。由于预测通常由经数百万图像优化的数百万权重计算得出，此类解释很容易遗漏整体图景。我们提出 Summit，一个可扩展且系统化地总结并可视化深度学习模型所学特征以及这些特征如何交互产生预测的交互系统。Summit 引入两种新的可扩展摘要技术：(1) 激活聚合发现重要神经元，(2) 神经元影响聚合识别此类神经元间关系。Summit 结合这些技术创建新颖的归因图，揭示并总结有助于模型结果的关键神经元关联与子结构。Summit 可扩展到大数据，如含 1.2M 图像的 ImageNet 数据集，并利用神经网络特征可视化与数据集示例帮助用户将庞大复杂的神经网络模型提炼为紧凑的交互式可视化。我们呈现神经网络探索场景，其中 Summit 帮助我们发现对一个盛行的大规模图像分类器所学表示的多个令人惊讶的见解，并为未来神经网络架构设计提供信息。Summit 可视化运行于现代网页浏览器且已开源。
引用
@article{arxiv.1904.02323,
title = {Summit: Scaling Deep Learning Interpretability by Visualizing Activation and Attribution Summarizations},
author = {Fred Hohman and Haekyu Park and Caleb Robinson and Duen Horng Chau},
journal= {arXiv preprint arXiv:1904.02323},
year = {2019}
}
备注
Published in IEEE Transactions on Visualization and Computer Graphics 2020, and presented at IEEE VAST 2019