论神经架构的最大互信息容量
机器学习
2020-06-12 v1 机器学习
摘要
我们推导了广泛一类神经网络架构在训练下可获得的最大互信息（即 的最大值）的闭式表达式。该量对机器学习理论与实践的若干分支至关重要。在定量上，我们表明这些架构族的最大互信息均源于对一个包罗万象公式的推广。在定性上，我们表明架构的最大互信息最受网络最小层宽度——在另一种意义上称为“信息瓶颈”——以及架构所捕获的任何统计不变性的影响。
引用
@article{arxiv.2006.06037,
title = {On the Maximum Mutual Information Capacity of Neural Architectures},
author = {Brandon Foggo and Nanpeng Yu},
journal= {arXiv preprint arXiv:2006.06037},
year = {2020}
}