关于自编码器的信息平面
机器学习
2020-10-06 v2 信息论
math.IT
机器学习
摘要
深度学习中隐藏层的训练动态在理论上知之甚少。近来，信息平面（IP）被提出用于分析它们，其基于互信息（MI）的信息论概念。信息瓶颈（IB）理论预测各层最大化相关信息并压缩无关信息。由于从样本估计 MI 的局限性，关于监督学习情形下 IP 性质的争论仍在持续。本工作中，我们推导出自编码器 IP 的理论收敛性。该理论预测具有大瓶颈层尺寸的理想自编码器不压缩输入信息，而小尺寸仅在编码器层引起压缩。实验中，我们使用文献近期提出的基于 Gram 矩阵的 MI 估计器。我们提出调整其参数的新规则以补偿尺度与维度效应。使用我们提出的规则，获得更接近理论的实验 IP。我们的自编码器理论 IP 可用作基准以验证神经网络中估计 MI 的新方法。由此可识别并纠正实验局限，助力关于监督学习情形的持续争论。
引用
@article{arxiv.2005.07783,
title = {On the Information Plane of Autoencoders},
author = {Nicolás I. Tapia and Pablo A. Estévez},
journal= {arXiv preprint arXiv:2005.07783},
year = {2020}
}
备注
8 pages, 9 figures. In proceedings of the 2020 International Joint Conference on Neural Networks (IJCNN 2020)