高阶互信息揭示用于多神经元重要性的协同子网络
机器学习
2022-11-09 v2 信息论
math.IT
神经元与认知
摘要
量化哪些神经元对于已训练神经网络的分类决策是重要的，对于理解其内在机制至关重要。先前工作主要将重要性归因于单个神经元。本工作中，我们使用一种称为 O-信息 的多变量互信息方法，研究哪些神经元组包含协同或冗余信息。我们观察到第一层由冗余主导，表明通用的共享特征（如检测边缘），而最后一层由协同主导，表明局部的类别特定特征（如概念）。最后，我们展示 O-信息可用于多神经元重要性。这可通过重新训练一个协同子网络来演示，其导致性能的最小变化。这些结果表明我们的方法可用于剪枝和无监督表示学习。
引用
@article{arxiv.2211.00416,
title = {Higher-order mutual information reveals synergistic sub-networks for multi-neuron importance},
author = {Kenzo Clauw and Sebastiano Stramaglia and Daniele Marinazzo},
journal= {arXiv preprint arXiv:2211.00416},
year = {2022}
}
备注
Paper presented at InfoCog @ NeurIPS 2022