基于偏信息分解的神经网络表征复杂性度量

在神经网络中，与任务相关的信息由神经元群组联合表征。然而，关于分类标签的互信息在单个神经元间具体分布的方式尚不清晰：其中部分可能仅能从特定单神经元获取，而其他部分则由多个神经元冗余或协同地携带。我们展示了偏信息分解 (PID)——信息论近期的一个扩展——如何能够解开这些不同的贡献。由此，我们引入了“表征复杂性”的度量，其量化了访问分布于多个神经元中信息的困难程度。我们展示了该复杂性对于较小层可直接计算。对于较大层，我们提出子采样与粗粒化过程，并证明后者相应的界。在经验上，对于求解 MNIST 与 CIFAR10 任务的量化深度神经网络，我们观察到表征复杂性在连续的隐藏层中以及训练过程中均下降，并将结果与相关度量进行比较。总体而言，我们提出表征复杂性作为一种原则性且可解释的汇总统计量，用于分析神经表征及一般复杂系统的结构与演化。