深而窄神经网络的逼近：深入探究
机器学习
2025-10-09 v1
摘要
2017年，Hanin 与 Sellke 证明了任意深、实数、全连接且采用 ReLU 激活函数的神经网络宽度为 w 的类，仅当 w>n 时，才形成于 R^n 上连续函数空间中关于紧集上一致收敛拓扑的稠密子集。为证明必要性，他们使用了一个具体的反例函数 f:R^n->R。本文我们实际对该函数进行逼近，分别讨论宽度为 w=n 与 w=n+1 两种情况下的近似行为。我们研究当改变网络深度时，逼近质量如何变化，以及（虽然有点预言）死亡神经元的影响。
引用
@article{arxiv.2510.07202,
title = {An in-depth look at approximation via deep and narrow neural networks},
author = {Joris Dommel and Sven A. Wegner},
journal= {arXiv preprint arXiv:2510.07202},
year = {2025}
}
备注
11 pages