关于逼近 ReLU 神经网络参数增长的研究
机器学习
2024-06-24 v1 数值分析
数值分析
摘要
本 work 聚焦于对给定光滑函数的全连接前馈 ReLU 神经网络进行逼近时的参数增长进行分析。与传统在宽度或深度增加的情形下研究的普遍逼近性质不同，我们关注的是逼近网络参数的渐近增长。此类结果在误差分析或神经网络训练的一致性结果中具有重要意义。本 work 的主要结果表明，对于具有最先进逼近误差的 ReLU 架构，实现参数的增长最多为多项式级数。我们得到的相对于标准化网络规模的收敛率与现有结果进行了比较，表明在大多数情况下都优于现有结果，特别是对于高维输入情况。
引用
@article{arxiv.2406.14936,
title = {On the growth of the parameters of approximating ReLU neural networks},
author = {Erion Morina and Martin Holler},
journal= {arXiv preprint arXiv:2406.14936},
year = {2024}
}