信息瓶颈理论及其在深度学习中应用的关键评述
机器学习
2021-05-12 v2 人工智能
摘要
在过去的十年中，深度神经网络取得了空前的进步，持续影响着当今社会的方方面面。随着高性能 GPU 的发展以及海量数据的可用，ML 系统的学习能力突飞猛进，从对图像中的数字进行分类发展到以超人表现击败游戏世界冠军。然而，尽管 ML 模型不断开疆拓土，其实用成功却因缺乏对其内部机制的深层理论理解而受阻。幸运的是，一种已知的信息论方法——信息瓶颈理论——已成为更好理解神经网络学习动态的有前景途径。原则上，IB 理论将学习建模为数据压缩与信息保留之间的权衡。本综述旨在全面回顾 IB 理论，涵盖其信息论根源以及近期提出的用于理解深度学习模型的应用。
引用
@article{arxiv.2105.04405,
title = {A Critical Review of Information Bottleneck Theory and its Applications to Deep Learning},
author = {Mohammad Ali Alomrani},
journal= {arXiv preprint arXiv:2105.04405},
year = {2021}
}
备注
Experimental error in section 4