用深度 ReLU 神经网络在 $L^p(\mu)$ 中逼近

Felix Voigtlaender; Philipp Petersen

用深度 ReLU 神经网络在 $L^p(\mu)$ 中逼近

泛函分析 2019-04-10 v1 机器学习

作者: Felix Voigtlaender , Philipp Petersen

摘要

我们通过分析使用非光滑 ReLU 激活函数 $\varrho(x) = \max\{0,x\}$ 的神经网络的逼近论性质,讨论此类网络的表达能力。现有结果主要分为两类:使用固定深度的 ReLU 网络进行逼近,或使用深度随逼近精度增加的 ReLU 网络进行逼近。在回顾这些发现后,我们证明有关固定深度网络的结果——迄今仅考虑 Lebesgue 测度 $\lambda$ 下 $L^p(\lambda)$ 中的逼近——可推广到任意有限 Borel 测度 $\mu$ 下的 $L^p(\mu)$ 逼近。特别地,推广结果适用于统计学习理论的通常设定,其中人们关注 $L^2(\mathbb{P})$ 中的逼近,概率测度 $\mathbb{P}$ 描述数据分布。

关键词

ReLU 网络逼近论 L^p 空间 Borel 测度统计学习深度神经网络

引用

@article{arxiv.1904.04789,
  title  = {Approximation in $L^p(\mu)$ with deep ReLU neural networks},
  author = {Felix Voigtlaender and Philipp Petersen},
  journal= {arXiv preprint arXiv:1904.04789},
  year   = {2019}
}

备注

Accepted for presentation at SampTA 2019

用深度 ReLU 神经网络在 $L^p(\mu)$ 中逼近

摘要

关键词

引用

备注

相关论文