深度网络喜欢看到什么？
计算机视觉与模式识别
2018-03-23 v1 机器学习
摘要
我们提出了一种通过量化卷积神经网络允许输入的信号量来测量和理解卷积神经网络的新方法。为此，在参数固定的预训练分类器的梯度上对自编码器（AE）进行了微调。我们比较了在一组图像分类器（AlexNet、VGG16、ResNet-50 和 Inception~v3）上微调的 AE 重构样本，发现了显著差异。AE 根据反向传播梯度中编码的信息，学习保留输入空间的哪些方面以及忽略哪些方面。通过测量当一个分类器的信号被第二个分类器使用时准确率的变化，出现了一种全序关系。这种顺序直接取决于每个分类器的输入信号，但与分类准确率或网络大小不相关。通过测量原始图像与来自不同微调 AE 的自编码重构之间的归一化互信息，提供了该现象的进一步证据。这些发现在神经网络理解领域开辟了新天地，为推理、调试和解释其结果开辟了新途径。我们给出了文献中的四个具体例子，现在可以用模型使用的输入信号来解释这些例子中的观察结果。
引用
@article{arxiv.1803.08337,
title = {What do Deep Networks Like to See?},
author = {Sebastian Palacio and Joachim Folz and Jörn Hees and Federico Raue and Damian Borth and Andreas Dengel},
journal= {arXiv preprint arXiv:1803.08337},
year = {2018}
}