梯度下降学习的浅层神经网络的收敛速率
统计理论
2023-08-21 v2 统计理论
摘要
本文分析了具有一个隐藏层的神经网络回归估计的 误差。在回归函数的傅里叶变换以适当快速衰减的假设下，我们证明了一个估计量——其所有初始权重按适当的均匀分布选取且权重通过梯度下降学习——可达到 的收敛速率（至多相差一个对数因子）。我们的统计分析表明，该结果背后的关键方面是初始内权重的恰当选择以及通过梯度下降调整外权重。这意味着我们也可以简单地使用线性最小二乘来选择外权重。我们证明了相应的理论结果，并通过模拟数据将我们新的线性最小二乘神经网络估计与标准神经网络估计进行比较。我们的模拟表明，我们的理论考量在许多情况下带来了性能改进的估计。
引用
@article{arxiv.2107.09550,
title = {Convergence rates for shallow neural networks learned by gradient descent},
author = {Alina Braun and Michael Kohler and Sophie Langer and Harro Walk},
journal= {arXiv preprint arXiv:2107.09550},
year = {2023}
}