过参数化神经网络训练中 Nesterov 加速梯度法相对 Heavy Ball 法的可证明加速
机器学习
2024-05-09 v4 人工智能
最优化与控制
摘要
由于简单高效，一阶梯度法已被广泛用于训练神经网络。尽管神经网络的优化问题是非凸的，近期研究已证明在过参数化神经网络（其中参数数量显著大于训练样本数量）的训练过程中，一阶方法能够取得全局最小值。动量方法，包括 heavy ball (HB) 法和 Nesterov 加速梯度 (NAG) 法，因其加速收敛性而成为一阶梯度方法的主力。在实践中，NAG 常表现出优于 HB 的性能。然而，现有理论工作未能区分二者在训练神经网络时的收敛差异。为填补这一空白，我们考虑过参数化与随机初始化下的两层 ReLU 神经网络训练问题。借助高分辨率动力系统与神经正切核 (NTK) 理论，我们的结果不仅建立了 HB 与 NAG 收敛速率的更紧上界，还首次为神经网络训练中 NAG 相对 HB 的加速提供了理论保证。最后，我们在三个基准数据集上验证了理论结果。
引用
@article{arxiv.2208.03941,
title = {Provable Acceleration of Nesterov's Accelerated Gradient Method over Heavy Ball Method in Training Over-Parameterized Neural Networks},
author = {Xin Liu and Wei Tao and Wei Li and Dazhi Zhan and Jun Wang and Zhisong Pan},
journal= {arXiv preprint arXiv:2208.03941},
year = {2024}
}
备注
16 pages, accepted to the 33rd International Joint Conference on Artificial Intelligence, IJCAI 2024 (Main) Track