层间与像素级信息丢弃的量化与分析
机器学习
2022-06-14 v2 计算机视觉与模式识别
机器学习
摘要
本文提出一种解释深度神经网络(DNN)前向传播中每个输入变量信息如何逐步被丢弃的方法，为解释 DNN 提供了新视角。我们定义两类基于熵的度量，即(1)前向传播中使用的像素级信息丢弃，与(2)输入重建的不确定性，从两个角度衡量特定层所含的输入信息。与以往的归因度量不同，所提度量确保了不同 DNN 不同层之间比较的公平性。我们可以利用这些度量分析 DNN 中信息处理的效率，其表现出与 DNN 性能的强关联。我们以像素级方式分析信息丢弃，这不同于衡量关于样本分布的特征信息的信息瓶颈理论。实验已展示我们的度量在分析经典 DNN 与解释现有深度学习技术中的有效性。
引用
@article{arxiv.1906.04109,
title = {Quantification and Analysis of Layer-wise and Pixel-wise Information Discarding},
author = {Haotian Ma and Hao Zhang and Fan Zhou and Yinqing Zhang and Quanshi Zhang},
journal= {arXiv preprint arXiv:1906.04109},
year = {2022}
}