使用 GELU 激活函数的前馈神经网络的逼近能力
机器学习
2025-12-29 v1
摘要
我们推导出了一个逼近误差界，该误差界同时对一个函数及其直到任意指定阶数的所有导数成立。该界限适用于初等函数，包括多元多项式、指数函数和倒数函数，并且是使用带有高斯误差线性单元(GELU)激活函数的前馈神经网络获得的。此外，我们报告了网络规模、权重幅度及其在无穷远处的行为。我们的分析从乘法的构造性逼近开始，在此我们证明了对于给定的逼近器，误差界在尺寸递增的定义域上同时成立。利用这一结果，我们获得了除法和指数函数的逼近保证，确保所得逼近器的所有高阶导数保持全局有界。
引用
@article{arxiv.2512.21749,
title = {Approximation Capabilities of Feedforward Neural Networks with GELU Activations},
author = {Konstantin Yakovlev and Nikita Puchkin},
journal= {arXiv preprint arXiv:2512.21749},
year = {2025}
}
备注
42 pages