关于 ReLU 神经网络深度的下界研究
机器学习
2024-07-18 v5 离散数学
神经与进化计算
组合数学
机器学习
摘要
我们致力于更好地理解可由具有 ReLU 激活函数及给定架构的神经网络所表示的函数类。利用混合整数优化、多面体理论和热带几何中的技术，我们为通用逼近定理（其暗示单个隐藏层足以学习任意函数）提供了数学上的制衡。具体而言，我们研究在添加更多层（对规模无限制）时，可精确表示的函数类是否严格增大。作为我们研究的副产品，我们肯定了 Wang 和 Sun（2005）关于分段线性函数的一个旧猜想。我们还给出了表示具有对数深度函数所需神经网络规模的上界。
引用
@article{arxiv.2105.14835,
title = {Towards Lower Bounds on the Depth of ReLU Neural Networks},
author = {Christoph Hertrich and Amitabh Basu and Marco Di Summa and Martin Skutella},
journal= {arXiv preprint arXiv:2105.14835},
year = {2024}
}
备注
Authors' accepted manuscript for SIAM Journal on Discrete Mathematics. A preliminary conference version appeared at NeurIPS 2021