评估深度神经网络所学内容的可视化
计算机视觉与模式识别
2015-09-22 v1
摘要
深度神经网络（DNNs）在诸如图像分类或语音识别的复杂机器学习任务中展现了令人印象深刻的性能。然而，由于其多层非线性结构，它们并不透明，即难以把握给定新的未见数据样本时，是什么使其得出特定的分类或识别决策。近来，人们提出了几种方法，能够理解和解释 DNN 在单个测试图像中体现的推理。这些方法量化了各个像素相对于分类决策的重要性，并允许在像素/输入空间以热图形式进行可视化。尽管热图的实用性可由人类主观判断，但缺乏客观的质量度量。在本文中，我们提出了一种基于区域扰动的通用方法，用于评估有序像素集合（如热图）。我们在 SUN397、ILSVRC2012 和 MIT Places 数据集上比较了三种不同方法计算的热图。我们的主要结果是，相较于基于敏感性的方法或反卷积方法，最近提出的逐层相关性传播（Layer-wise Relevance Propagation, LRP）算法在定性和定量上能更好地解释是什么使 DNN 得出特定分类决策。我们提供了理论论证来解释该结果并讨论其实际含义。最后，我们研究了热图用于神经网络性能无监督评估的用途。
引用
@article{arxiv.1509.06321,
title = {Evaluating the visualization of what a Deep Neural Network has learned},
author = {Wojciech Samek and Alexander Binder and Grégoire Montavon and Sebastian Bach and Klaus-Robert Müller},
journal= {arXiv preprint arXiv:1509.06321},
year = {2015}
}
备注
13 pages, 8 Figures