基于拓扑熵的神经网络深度-宽度权衡
机器学习
2020-10-16 v1
摘要
深度学习理论研究的中心问题之一是理解深度、宽度和节点数等结构性质如何影响深度神经网络的表达能力。本文中，我们揭示了深度神经网络表达能力与动力系统中拓扑熵之间的新联系，该联系可用于刻画神经网络深度-宽度的权衡。我们通过结构参数为具有连续半代数单元的神经网络的拓扑熵提供了上界。具体而言，具有 层、每层 个节点的 ReLU 网络的拓扑熵上界为 。此外，若神经网络是某函数 的良好逼近，则神经网络的大小相对于 的拓扑熵具有指数下界。进而，我们讨论了拓扑熵与振荡次数、周期以及 Lipschitz 常数之间的关系。
引用
@article{arxiv.2010.07587,
title = {Depth-Width Trade-offs for Neural Networks via Topological Entropy},
author = {Kaifeng Bu and Yaobo Zhang and Qingxian Luo},
journal= {arXiv preprint arXiv:2010.07587},
year = {2020}
}
备注
17 pages