神经网络在无界域上的逼近能力
机器学习
2021-10-12 v8 机器学习
摘要
在本文中，我们证明了具有单调sigmoid、ReLU、ELU、Softplus或LeakyReLU激活函数的浅层神经网络可以任意好地逼近定义在R*[0,1]^n上的任意L^p（p>=2）可积函数。我们还证明了具有sigmoid、ReLU、ELU、Softplus或LeakyReLU激活函数的浅层神经网络无法表达定义在平面上的任何非零可积函数。结合近期关于深度ReLU网络可任意好地逼近欧氏空间上任意可积函数的结果，我们在ReLU网络的语境下对多个隐藏层的优势提供了新视角。最后，我们证明了深度为3的ReLU网络是L^p(R^n)中的通用逼近器。
引用
@article{arxiv.1910.09293,
title = {Approximation capabilities of neural networks on unbounded domains},
author = {Ming-Xi Wang and Yang Qu},
journal= {arXiv preprint arXiv:1910.09293},
year = {2021}
}
备注
will appear in Neural Networks