基于随机梯度 Langevin 动力学的深度神经网络诊断可视化
计算机视觉与模式识别
2018-12-12 v1 人工智能
摘要
大多数深度神经网络的内部状态难以解释，这使得训练过程中的诊断与调试颇具挑战。激活最大化方法被广泛使用，但对于复杂神经元会导致多个最优解且难以解释（呈现类噪声）。基于图像的方法使用最大激活图像区域，更易解释，但无法提供神经元为何响应这些区域的像素级洞察。本工作中我们引入一种 MCMC 方法：Langevin 动力学激活最大化（LDAM），专为诊断可视化而设计。LDAM 结合提供两种效用：探索最大激活原像集合的能力，以及使用 GAN 风格判别器作为正则化器来权衡可解释性与像素级准确性的能力。我们在 MNIST、CIFAR 和 ImageNet 数据集上展示了探索这些权衡的案例研究。最后我们表明，使用 LDAM 的诊断可视化带来了对深度网络训练参数平均方法的新见解。
引用
@article{arxiv.1812.04604,
title = {Diagnostic Visualization for Deep Neural Networks Using Stochastic Gradient Langevin Dynamics},
author = {Biye Jiang and David M. Chan and Tianhao Zhang and John F. Canny},
journal= {arXiv preprint arXiv:1812.04604},
year = {2018}
}