通过 ReLU$^k$ 激活函数的索博列夫空间积分表示与线性化网络的最优误差估计
数值分析
2025-05-13 v2 数值分析
摘要
本文给出了关于具有 ReLU 激活函数的浅层神经网络的两个主要理论结果。我们建立了一种索博列夫空间的新型积分表示，表明 中的每个函数都可以表示为单位球上 ReLU 脊函数的 加权积分。该结果反映了巴伦空间的已知表示，揭示了索博列夫正则性与神经网络表示之间的基本联系。此外，我们证明线性化浅层网络——通过固定内部参数、仅优化线性系数构造——在索博列夫空间中实现了最优逼近速率 。
引用
@article{arxiv.2505.00351,
title = {Integral Representations of Sobolev Spaces via ReLU$^k$ Activation Function and Optimal Error Estimates for Linearized Networks},
author = {Xinliang Liu and Tong Mao and Jinchao Xu},
journal= {arXiv preprint arXiv:2505.00351},
year = {2025}
}