超越显著性：从分层相关性传播中的显著性预测理解卷积神经网络
计算机视觉与模式识别
2019-04-02 v5
摘要
尽管深度卷积神经网络（CNNs）在许多计算机视觉任务中取得了巨大成就，理解它们实际如何工作仍是一项重大挑战。在本文中，我们提出了一种新颖的两步理解方法，即显著相关性（SR）图，旨在揭示深度CNNs如何识别图像并从中被称为注意区域的区域学习特征。我们提出的方法从分层相关性传播（LRP）步骤开始，该步骤估计输入图像上的逐像素相关性图。随后，我们从LRP生成的图构建上下文感知的显著性图（SR图），其预测接近注意焦点的区域，而非LRP所揭示的孤立像素。在人类视觉系统中，区域信息比像素信息在识别中更重要。因此，我们提出的方法紧密模拟人类识别。使用ILSVRC2012验证数据集结合两个成熟的深度CNN模型AlexNet和VGG-16的实验结果清楚地表明，我们提出的方法不仅简洁地识别出关键像素，还识别出有助于底层神经网络理解给定图像的注意区域。因此，我们提出的SR图构成了一种便捷的视觉界面，揭示了网络的视觉注意力，并展示了模型在训练后学会了识别哪类对象。源代码可在 https://github.com/Hey1Li/Salient-Relevance-Propagation 获取。
引用
@article{arxiv.1712.08268,
title = {Beyond saliency: understanding convolutional neural networks from saliency prediction on layer-wise relevance propagation},
author = {Heyi Li and Yunke Tian and Klaus Mueller and Xin Chen},
journal= {arXiv preprint arXiv:1712.08268},
year = {2019}
}
备注
35 pages, 15 figures