基于自适应动量优化训练的神经网络参数空间数字波动的几何结构
机器学习
2024-08-23 v1 数值分析
数值分析
摘要
我们报告了使用具有自适应动量的神经网络进行数值实验的结果。这种广泛应用的优化方法已证明具有收敛性和实际效率,但在长期训练中会变得数值不稳定。我们通过实验表明,数值伪影不仅在大规模模型中可被观察到,也会导致浅层窄网络发生收敛。我们通过超过1600个神经网络在50000个时代进行训练的实验来阐释此理论。局部观察显示,网络参数在稳定和不稳定训练段中呈现相同行为。参数的几何行为在参数空间中形成双扭螺旋,其原因是数值扰动与第1和第2动量值中的下一次松弛振荡交替发生。
引用
@article{arxiv.2408.12273,
title = {Geometrical structures of digital fluctuations in parameter space of neural networks trained with adaptive momentum optimization},
author = {Igor V. Netay},
journal= {arXiv preprint arXiv:2408.12273},
year = {2024}
}