深度窄网络的最小宽度用于通用逼近
机器学习
2025-11-25 v2
摘要
确定全连接神经网络的最小宽度近日已成为深度神经网络理论研究中的一个基本问题。本文研究了全连接神经网络在具备通用逼近能力时所需最小宽度的下界和上界，这在网络设计和训练中至关重要。我们证明了也适用于采用ELU、SELU激活函数的网络，当时，可达到该不等式的上界，其中分别表示输入和输出维度。此外，我们证明了对于采用LeakyReLU、ELU、CELU、SELU、Softplus激活函数的网络，，通过证明ReLU激活函数可被这些激活函数近似。此外，在激活函数为单射或可由一序列单射函数均匀逼近（例如ReLU）时，我们提出一种更直观的证明方法，通过基于Poincaré-Miranda定理的新几何方法构建示例。
引用
@article{arxiv.2511.06837,
title = {Minimum Width of Deep Narrow Networks for Universal Approximation},
author = {Xiao-Song Yang and Qi Zhou and Xuan Zhou},
journal= {arXiv preprint arXiv:2511.06837},
year = {2025}
}