具有一般激活函数的神经网络的逼近速率
经典分析与常微分方程
2021-01-05 v7 机器学习
摘要
我们证明了关于具有一般激活函数的神经网络逼近速率的一些新结果。我们的第一个结果涉及具有多项式衰减非 S 型激活函数的两层神经网络的逼近速率。我们将先前获得的维度无关逼近速率扩展至这类新激活函数。我们的第二个结果对更大类的激活函数给出了较弱但仍维度无关的逼近速率，去除了多项式衰减假设。该结果适用于任意有界、可积的激活函数。最后，我们表明在温和的附加假设下，分层采样方法可用于改进多项式衰减激活函数的逼近速率。
引用
@article{arxiv.1904.02311,
title = {Approximation Rates for Neural Networks with General Activation Functions},
author = {Jonathan W. Siegel and Jinchao Xu},
journal= {arXiv preprint arXiv:1904.02311},
year = {2021}
}