Scifaro

中文

关于函数由 tanh 神经网络的逼近

数值分析 2021-12-09 v2 机器学习数值分析

作者: Tim De Ryck , Samuel Lanthaler , Siddhartha Mishra

在 arXiv 上查看 ↗ PDF ↗ DOI ↗

摘要

我们推导了以双曲正切激活函数的神经网络逼近 Sobolev 正则函数以及解析函数时，在高阶 Sobolev 范数下所产生误差的界。这些界给出了关于神经网络规模的逼近误差的显式估计。我们表明，仅含两个隐藏层的 tanh 神经网络足以以可与更深 ReLU 神经网络相比拟或更优的速率逼近函数。

关键词

神经网络逼近 tanh 激活 Sobolev 范数解析函数 ReLU 网络逼近误差

引用

@article{arxiv.2104.08938,
  title  = {On the approximation of functions by tanh neural networks},
  author = {Tim De Ryck and Samuel Lanthaler and Siddhartha Mishra},
  journal= {arXiv preprint arXiv:2104.08938},
  year   = {2021}
}