二进制神经网络的信息平面分析

信息平面（Information Plane，IP）分析被认为通过输入、表征和目标之间的互信息（MI）来研究深度神经网络的训练动力学。然而，由于难以从高维确定性表征的样本中估计 MI，统计有效性常受到制约。本文对二进制神经网络（BNNs）进行 IP 分析，其中激活为离散值，MI 为有限值。我们描述了插拔熵估计器的有限样本行为，并确定样本大小 $N$ 和表征维度 $D$ 下 MI 估计可靠的区间。超出这些区间，经验 MI 估计会饱和到 $\log_2 N$，导致 IP 轨迹无信息。限定在可靠区间内，我们训练 375 个 BNNs 以探讨晚期压缩相位的存在性以及压缩表征与泛化性能之间的关系。我们的结果表明，尽管经常观察到晚期压缩，但压缩的潜在表征并不一致地与改进的泛化性能相关。相反，压缩与泛化之间的关系在任务、架构和正则化方面高度依赖。