通过信息有序累积消融理解神经网络与单个神经元的重要性
机器学习
2022-12-02 v4 计算机视觉与模式识别
信息论
math.IT
机器学习
摘要
在这项工作中，我们研究了三个信息论量——熵、与类别变量的互信息，以及基于 Kullback-Leibler 散度的类别选择性度量——的使用，以理解和研究已训练的全连接前馈神经网络的行为。通过在 MNIST、FashionMNIST 和 CIFAR-10 上训练的网络中累积消融神经元，我们分析了这些信息论量与测试集上分类性能之间的联系。我们的结果与 Morcos 等人最近发表的研究相呼应，表明类别选择性并不是分类性能的良好指标。然而，分别观察单个层时，互信息和类别选择性均与分类性能正相关，至少对于具有 ReLU 激活函数的网络是如此。我们为这一现象提供了解释，并得出结论：不建议跨层比较所提出的信息论量。此外，我们表明，按信息论量升序或降序对神经元进行累积消融可用于提出关于多个神经元联合行为（如冗余和协同）的假设，且计算成本相对较低。我们还将其与神经网络的信息瓶颈理论联系起来。
引用
@article{arxiv.1804.06679,
title = {Understanding Neural Networks and Individual Neuron Importance via Information-Ordered Cumulative Ablation},
author = {Rana Ali Amjad and Kairen Liu and Bernhard C. Geiger},
journal= {arXiv preprint arXiv:1804.06679},
year = {2022}
}
备注
12 pages; accepted for publication in IEEE Transactions on Neural Networks and Learning Systems