深度神经网络模型中的熵与互信息
机器学习
2020-01-22 v2 无序系统与神经网络
信息论
math.IT
机器学习
摘要
我们研究了一类具有可计算信息论量方法的深度学习模型。我们的贡献有三方面：(i) 在权重矩阵独立且正交不变的假设下，我们展示了如何从启发式统计物理方法推导熵和互信息。(ii) 我们利用最近引入的自适应插值方法，为具有高斯随机权重的两层网络提供了证明，从而扩展了已知该结果严格精确的特定情形。(iii) 我们提出了一个基于合成数据集生成模型的实验框架，在该框架上我们训练深度神经网络，并施加权重约束使得 (i) 中的假设在学习过程中得到满足。我们研究了整个学习过程中熵和互信息的行为，并得出结论：在所提出的设定下，压缩与泛化之间的关系仍然难以捉摸。
引用
@article{arxiv.1805.09785,
title = {Entropy and mutual information in models of deep neural networks},
author = {Marylou Gabrié and Andre Manoel and Clément Luneau and Jean Barbier and Nicolas Macris and Florent Krzakala and Lenka Zdeborová},
journal= {arXiv preprint arXiv:1805.09785},
year = {2020}
}