多边形非调整 Langevin 算法:为神经网络创建稳定高效的自适应算法
机器学习
2024-03-05 v3 最优化与控制
概率论
机器学习
摘要
我们提出了一类新的基于 Langevin 的算法,它克服了当前用于深度学习模型微调的流行自适应优化器的许多已知缺陷。其基础理论依赖于近期关于具有单调系数的随机微分方程(SDE)的欧拉多边形近似的进展。因此,它继承了驯服算法的稳定性性质,同时解决了其他已知问题,例如神经网络中的梯度消失。特别地,我们为这类新算法中的一个算法(我们命名为 THO POULA,或简称为 TheoPouLa)的收敛性质提供了非渐近分析和完整的理论保证。最后,给出了使用不同类型深度学习模型的若干实验,显示了 TheoPouLa 相对于许多流行自适应优化算法的优越性能。
关键词
引用
@article{arxiv.2105.13937,
title = {Polygonal Unadjusted Langevin Algorithms: Creating stable and efficient adaptive algorithms for neural networks},
author = {Dong-Young Lim and Sotirios Sabanis},
journal= {arXiv preprint arXiv:2105.13937},
year = {2024}
}