浅层 ReLU$^k$ 神经网络的最优逼近速率及其在非参数回归中的应用
机器学习
2024-06-05 v3 机器学习
摘要
我们研究对应于浅层 ReLU 神经网络的若干变差分空间的逼近能力。结果表明，充分光滑的函数以有限变差分范数包含于这些空间中。对于光滑性较低的函数，建立了依变差分范数的逼近速率。利用这些结果，我们能够证明浅层 ReLU 神经网络依神经元数量的最优逼近速率。还展示了如何将这些结果用于推导深度神经网络与卷积神经网络（CNNs）的逼近界。作为应用，我们研究了使用三种 ReLU 神经网络模型进行非参数回归的收敛速率：浅层神经网络、过参数化神经网络与 CNN。特别地，我们表明浅层神经网络能达到学习 H"older 函数的极小极大最优速率，这补充了近期关于深度神经网络的结果。还证明了过参数化（深层或浅层）神经网络能达到近乎最优的非参数回归速率。
引用
@article{arxiv.2304.01561,
title = {Optimal rates of approximation by shallow ReLU$^k$ neural networks and applications to nonparametric regression},
author = {Yunfei Yang and Ding-Xuan Zhou},
journal= {arXiv preprint arXiv:2304.01561},
year = {2024}
}
备注
Version 3 improves some approximation bounds by using recent results from arXiv:2307.15285