神经网络通用性的统一构造性框架

许多神经网络能够复现复杂任务或函数的原因之一是它们的通用性性质。尽管过去几十年神经网络理论取得了巨大进展，但针对神经网络通用性的单一构造性框架仍付阙如。本文首次尝试为包括大多数现有激活函数在内的一大类激活函数提供统一且构造性的通用性框架。该框架的核心概念是神经网络近似恒等（nAI）。主要结果为：{\em 任意 nAI 激活函数都是通用的}。结果表明大多数现有激活函数都是 nAI，从而在紧集上连续函数空间中具有通用性。该框架相较当代同类工作具有{\bf 若干优势}。首先，它是借助泛函分析、概率论与数值分析中的基本手段构造而成的。其次，它是首个对大多数现有激活函数均成立的统一尝试。第三，作为副产品，该框架为包括 Mish、SiLU、ELU、GELU 等在内的部分现有激活函数提供了首个通用性证明。第四，它为大多数激活函数提供了新的证明。第五，它发现了具有保证通用性性质的新激活函数。第六，对于给定的激活函数与误差容限，该框架精确给出具有预定神经元数量的对应单隐层神经网络的结构，以及权重/偏置的值。第七，该框架使我们能够抽象地给出具有良好非渐近速率的首个通用逼近。