中文

加权变差空间与浅层ReLU网络的逼近

机器学习 2024-11-25 v2 机器学习 数值分析 数值分析

摘要

我们研究有界域 ΩRd\Omega\subset \mathbb{R}^d 上函数 ff 由宽度为 nn 的单隐层ReLU神经网络输出进行逼近的问题。这种非线性 nn 项字典逼近因是神经网络逼近(NNA)的最简情形而受到深入研究。针对此类NNA已有若干著名逼近结果,引入了 Ω\Omega 上新颖的函数模型类,其逼近速率不随输入维度无界增长。这些新颖类包括Barron类,以及基于稀疏性或变差(如Radon域BV类)的类。本文关注这些新颖模型类在域 Ω\Omega 上的定义。当前这些模型类的定义与域 Ω\Omega 无关。通过引入加权变差空间的概念,给出了域上模型类的新且更恰当的定义。这些新模型类是域本身所内蕴的。这些新模型类的重要性在于它们严格大于经典(与域无关)类,但研究表明其保持了相同的NNA速率。

关键词

引用

@article{arxiv.2307.15772,
  title  = {Weighted variation spaces and approximation by shallow ReLU networks},
  author = {Ronald DeVore and Robert D. Nowak and Rahul Parhi and Jonathan W. Siegel},
  journal= {arXiv preprint arXiv:2307.15772},
  year   = {2024}
}