基于信息瓶颈的随机神经网络分层学习
机器学习
2019-10-08 v6
摘要
信息瓶颈（IB）是率失真理论的一种推广，它自然地将压缩与相关性权衡纳入学习中。尽管原始 IB 已被广泛研究，但对于更契合神经网络语境的多个瓶颈仍缺乏深入理解。在本文中，我们提出信息多瓶颈（IMBs）作为 IB 对多个瓶颈的推广，其直接应用于训练神经网络：将层视为多个瓶颈，将权重视为参数化编码器与解码器。我们表明，对于随机编码器，IMB 的多重最优性无法同时实现。因此我们提出一种简单的 IMB 折中方案，该方案进而推广了随机神经网络语境下的最大似然估计（MLE）原理。我们在 MNIST 与 CIFAR10 上的分类任务与对抗鲁棒性中展示了 IMB 的有效性。
引用
@article{arxiv.1712.01272,
title = {Layer-wise Learning of Stochastic Neural Networks with Information Bottleneck},
author = {Thanh T. Nguyen and Jaesik Choi},
journal= {arXiv preprint arXiv:1712.01272},
year = {2019}
}
备注
published in Entropy journal