单元变分信息瓶颈网络

在这项工作中，我们提出了单元变分信息瓶颈网络（cellVIB），这是一种使用信息瓶颈机制的卷积神经网络，可以通过端到端的训练方法与最新的前馈网络架构相结合。我们的单元变分信息瓶颈网络通过堆叠 VIB 单元构建，这些单元生成具有不确定性的特征图。随着层数加深，正则化效应将逐渐增加，而不是像 Deep VIB 那样直接对模型的输出层施加过多的正则约束。在每个 VIB 单元下，前馈过程学习一个独立的均值项和一个标准差项，并基于它们预测高斯分布。反馈过程基于重参数化技巧以实现有效训练。本工作在 MNIST 数据集上进行了广泛分析，以验证每个 VIB 单元的有效性，并就 VIB 单元如何影响互信息提供了深入分析。在 CIFAR-10 上进行的实验也证明，我们的 cellVIB 对训练期间的噪声标签和测试期间的损坏图像具有鲁棒性。然后，我们在 PACS 数据集上验证了我们的方法，结果表明 VIB 单元可以显著提高基础模型的泛化性能。最后，在更复杂的表示学习任务——人脸识别中，我们的网络结构也取得了非常有竞争力的结果。