有界参数神经网络的数值逼近能力：极限是否存在，如何度量？

万能逼近定理指出，在具有合适的激活函数且参数可自由选择或训练的情况下，神经网络在理论上可以拥有无限的逼近能力。然而，当这些神经参数，特别是非线性权重和偏置有界时，会出现一种更实际的场景。这引出了我们的问题：\textbf{当参数在实际中有界时，神经网络的逼近能力是保持万能的，还是存在极限？如果存在极限，又该如何度量？} 我们的理论研究表明，尽管万能逼近在理论上是可行的，但在实际数值场景中，对于任何具有解析激活函数（如 Tanh 和 Sigmoid）的深度神经网络（DNN），在有界非线性参数空间（NP 空间）下，无论是在连续还是离散意义上，都只能被有限维向量空间所逼近。基于此项研究，我们引入了 \textit{$\epsilon$ 外测度} 和 \textit{数值张成维数 (NSdim)} 的概念，从理论和实践上量化一族网络的逼近能力极限。此外，基于我们新的理论研究并采用全新的视角，我们致力于理解反向传播神经网络与随机参数网络（如极限学习机（ELM））在有限和无限宽度下的关系。我们还旨在为正则化、宽度与深度的权衡、参数空间、宽度冗余、凝聚及其他相关重要问题提供新的见解。