浅层神经网络的逼近速率的尖锐下界

Jonathan W. Siegel; Jinchao Xu

浅层神经网络的逼近速率的尖锐下界

机器学习 2021-09-10 v2 机器学习统计理论统计理论

作者: Jonathan W. Siegel , Jinchao Xu

摘要

我们考虑浅层神经网络相对于变差分范数的逼近速率。对于sigmoidal和ReLU激活函数，这些速率的上界已被建立，但这些速率是否尖锐一直是一个重要的开放问题。在本文中，我们通过证明浅层神经网络逼近速率的尖锐下界为该问题提供了解决方案，这些下界通过对神经网络基函数凸包的 $L^2$ 度量熵进行下界估计得到。此外，我们的方法还给出了该凸包的Kolmogorov $n$ -宽度的尖锐下界，表明对应于浅层神经网络的变差分空间无法被线性方法高效逼近。这些下界既适用于有界变差的sigmoidal激活函数，也适用于ReLU的幂次激活函数。我们的结果还量化了Barron谱范数比变差分范数强多少，并且结合先前的结果，给出了在ReLU激活函数情形下 $L^\infty$ 度量熵渐近主项（至多差对数因子）。

关键词

浅层神经网络逼近速率变差分范数度量熵 Kolmogorov n-宽度 ReLU激活 Barron谱范数

引用

@article{arxiv.2106.14997,
  title  = {Sharp Lower Bounds on the Approximation Rate of Shallow Neural Networks},
  author = {Jonathan W. Siegel and Jinchao Xu},
  journal= {arXiv preprint arXiv:2106.14997},
  year   = {2021}
}

备注

This paper has been merged with arXiv:2101.12365

浅层神经网络的逼近速率的尖锐下界

摘要

关键词

引用

备注

相关论文