基于万能逼近定理的无梯度神经网络框架

我们提出了一种计算人工神经网络（ANN）权重的数值方案，该方案源于万能逼近定理，避免了繁重的迭代。所提算法遵循底层理论，速度极快，并且在应用于复杂数据集的回归与分类时产生极低的误差，例如带随机噪声添加的多元 Griewank 函数 $\mathbf{x} \in \mathbb{R}^{100}$，以及用于手写数字识别的 MNIST 数据库，含 $7\times10^4$ 张图像。同样的数学公式被发现能够在多维中逼近高度非线性函数，对未知函数、其高阶偏导数以及数值求解偏微分方程的测试集误差极低（例如 $10^{-10}$）。该方法基于在数据的小邻域内计算每个神经元的权重，使得相应的局部逼近矩阵可逆。因此，无需优化超参数，因为神经元数量直接源于数据的维数，进一步提升了算法速度。在此设定下，过拟合被天然避免，结果可解释且可复现。所提算法的复杂度为 P 类，计算时间为 $\mathcal{O}(mn^2)+\mathcal{O}(\frac{m^3}{n^2})-\mathcal{O}(\log(n+1))$，相对于观测数 $m$ 和特征数 $n$，而标准 ANN 训练算法为 NP 完全类。该方法性能高，与数据集大小无关，且测试集误差与训练误差相当或更小，表明算法的泛化效率。