具有余弦与 ReLU$^k$ 激活函数的浅层神经网络的高阶逼近速率
数值分析
2021-12-23 v7 数值分析
摘要
我们研究具有整流线性单元幂次作为激活函数的浅层神经网络的逼近性质。具体而言，我们考虑逼近速率对维数以及待逼近底层函数 在谱 Barron 空间中的光滑性的依赖关系。我们证明随着 的光滑性指数 增大，具有 ReLU 激活函数的浅层神经网络在 中获得改进的逼近速率，最高可达与维数 无关的最优速率 。该结果的意义在于激活函数 ReLU 固定且与维数无关，而经典方法为了利用 依赖于维数的光滑性，必须提高多项式逼近的次数或所用小波的光滑性。此外，我们推导了具有余弦激活函数的浅层神经网络在谱 Barron 空间上的改进逼近速率。最后，我们证明下界表明在上述假设下所达到的逼近速率是最优的。
引用
@article{arxiv.2012.07205,
title = {High-Order Approximation Rates for Shallow Neural Networks with Cosine and ReLU$^k$ Activation Functions},
author = {Jonathan W. Siegel and Jinchao Xu},
journal= {arXiv preprint arXiv:2012.07205},
year = {2021}
}