具有ReLU$^k$激活的深度神经网络的表达性和逼近性质

Juncai He; Tong Mao; Jinchao Xu

具有ReLU$^k$激活的深度神经网络的表达性和逼近性质

机器学习 2024-01-12 v2 数值分析神经与进化计算数值分析

作者: Juncai He , Tong Mao , Jinchao Xu

摘要

本文研究了使用ReLU $^k$ 激活函数（ $k \geq 2$ ）的深度神经网络的表达性和逼近性质。虽然深度ReLU网络可以有效地逼近多项式，但深度ReLU $^k$ 网络能够精确表示更高次多项式。我们的初步贡献是使用深度ReLU $^k$ 网络进行多项式表示的全面构造性证明。这使我们能够建立网络参数大小和数量的上界。因此，我们能够展示Sobolev空间函数以及解析函数的次优逼近率。此外，通过探索深度ReLU $^k$ 网络对浅层网络的表示能力，我们揭示了深度ReLU $^k$ 网络可以逼近来自一系列变差空间的函数，这些空间超出了仅由ReLU $^k$ 激活函数生成的空间。这一发现证明了深度ReLU $^k$ 网络在逼近各种变差空间内的函数时的适应性。

关键词

ReLU^k激活深度神经网络多项式表示逼近率 Sobolev空间变差空间

引用

@article{arxiv.2312.16483,
  title  = {Expressivity and Approximation Properties of Deep Neural Networks with ReLU$^k$ Activation},
  author = {Juncai He and Tong Mao and Jinchao Xu},
  journal= {arXiv preprint arXiv:2312.16483},
  year   = {2024}
}

具有ReLU$^k$激活的深度神经网络的表达性和逼近性质

摘要

关键词

引用

相关论文