加权变差空间与浅层ReLU网络的逼近
机器学习
2024-11-25 v2 机器学习
数值分析
数值分析
摘要
我们研究有界域 上函数 由宽度为 的单隐层ReLU神经网络输出进行逼近的问题。这种非线性 项字典逼近因是神经网络逼近(NNA)的最简情形而受到深入研究。针对此类NNA已有若干著名逼近结果,引入了 上新颖的函数模型类,其逼近速率不随输入维度无界增长。这些新颖类包括Barron类,以及基于稀疏性或变差(如Radon域BV类)的类。本文关注这些新颖模型类在域 上的定义。当前这些模型类的定义与域 无关。通过引入加权变差空间的概念,给出了域上模型类的新且更恰当的定义。这些新模型类是域本身所内蕴的。这些新模型类的重要性在于它们严格大于经典(与域无关)类,但研究表明其保持了相同的NNA速率。
引用
@article{arxiv.2307.15772,
title = {Weighted variation spaces and approximation by shallow ReLU networks},
author = {Ronald DeVore and Robert D. Nowak and Rahul Parhi and Jonathan W. Siegel},
journal= {arXiv preprint arXiv:2307.15772},
year = {2024}
}