PAC-Bayes 信息瓶颈
机器学习
2022-03-07 v4 人工智能
摘要
理解神经网络（NNs）卓越泛化能力的来源仍是机器学习（ML）研究中最重要的问题之一。已有系列理论工作试图推导神经网络的非平凡界。近来，基于 PAC-Bayes 定理，存储在权重中的信息（IIW）的压缩被证明在神经网络泛化中起着关键作用。然而，迄今未给出 IIW 的任何解，这为进一步研究 IIW 的性质及其在实际深度学习中的潜力设置了障碍。本文中，我们提出了一种高效近似 IIW 的算法。进而，我们基于神经网络的准确率与信息复杂度之间的权衡构建了 IIW 驱动的信息瓶颈，即 PIB。由 PIB，我们可在经验上识别神经网络训练过程中的拟合到压缩相变，以及 IIW 压缩与泛化之间的具体联系。此外，我们验证了 IIW 能够在广泛情形下解释神经网络，例如变化的批大小、过参数化和带噪标签。而且，我们提出了一种基于 MCMC 的算法，从 PIB 刻画的最优权重后验中采样，从而实现了 IIW 在实际中增强神经网络的潜力。
引用
@article{arxiv.2109.14509,
title = {PAC-Bayes Information Bottleneck},
author = {Zifeng Wang and Shao-Lun Huang and Ercan E. Kuruoglu and Jimeng Sun and Xi Chen and Yefeng Zheng},
journal= {arXiv preprint arXiv:2109.14509},
year = {2022}
}
备注
ICLR'22 (Spotlight)