用神经网络逼近 BV 函数：一种正则性理论方法
偏微分方程分析
2021-04-02 v2 机器学习
摘要
本文关注单位圆上带 ReLU 激活函数的单隐藏层神经网络对函数的逼近问题。我们特别感兴趣于数据点数量超过节点数量的情形。我们首先研究与带二次惩罚的代价函数相关的随机梯度流的平衡收敛性。具体而言，我们证明了该代价函数的一个惩罚版本的 Poincaré 不等式，其显式常数与数据及节点数量无关。由于我们的惩罚使权重有界，这引导我们去研究带界权重的网络能多好地逼近给定的有界变差（BV）函数。关于 BV 函数逼近，我们的主要贡献是一个我们称之为局部化定理的结果。具体而言，它指出当权重长度小于 时，约束问题的期望误差相对于无约束问题（全局最优）的阶为 。该证明在此课题中是新颖的，并受椭圆偏微分方程正则性理论技术的启发。最后，我们通过证明通用逼近定理的定量版本来量化全局最优的期望值。
引用
@article{arxiv.2012.08291,
title = {Approximation of BV functions by neural networks: A regularity theory approach},
author = {Benny Avelin and Vesa Julin},
journal= {arXiv preprint arXiv:2012.08291},
year = {2021}
}