反向传播数值不稳定性导致的神经网络训练局限
机器学习
2023-11-16 v4 泛函分析
机器学习
摘要
我们研究了在利用浮点算术计算梯度的前提下,通过梯度下降训练深度神经网络的问题。在此框架与合理假设下,我们证明:在按梯度下降训练过程中,要找到保持相对于层数超线性多仿射段的 ReLU 神经网络是极不可能的。在几乎所有给出高阶多项式逼近速率的逼近理论论证中,均使用了相对于层数呈指数多仿射段的 ReLU 神经网络序列。因此,我们得出结论:实践中由梯度下降得到的 ReLU 神经网络逼近序列与理论构造的序列存在本质差异。我们将假设与理论结果同数值研究进行比较,二者结果一致。
引用
@article{arxiv.2210.00805,
title = {Limitations of neural network training due to numerical instability of backpropagation},
author = {Clemens Karner and Vladimir Kazeev and Philipp Christian Petersen},
journal= {arXiv preprint arXiv:2210.00805},
year = {2023}
}