用信息论概念理解自编码器

尽管深度神经网络在实际应用中取得了巨大成功，仍然缺乏分析和理解它们的理论与系统方法。在本文中，我们阐述了一种先进的信息论方法来理解学习的动态过程以及自编码器的设计，自编码器是一种类似于通信信道的特殊深度学习架构。通过将信息平面推广到任意代价函数，并利用逐层信息量检视不同层的角色与动态，我们强调了互信息在量化从数据中学习时所起的作用。我们进一步提出并实验验证了关于均方误差训练的三个方面的基本性质：分别利用数据处理不等式和识别由给定数据控制的信息平面中的分岔点，来刻画逐层信息流与瓶颈层的内在维度。我们的观察对自编码器的最优设计、替代前馈训练方法的设计乃至泛化问题都有直接影响。