基于通用李群预条件子的曲率信息引导 SGD
机器学习
2024-02-08 v1
摘要
我们提出了一种新方法,通过利用从 Hessian-向量乘积或参数与梯度的有限差分中获得的曲率信息来加速随机梯度下降(SGD),类似于 BFGS 算法。我们的方法涉及两个预条件子:一个无矩阵预条件子和一个低秩近似预条件子。我们使用对随机梯度噪声具有鲁棒性且不需要线搜索或阻尼的标准在线更新这两个预条件子。为了保持相应的对称性或不变性,我们的预条件子被约束在特定的连通李群上。李群的等变性简化了预条件子拟合过程,而其不变性消除了对阻尼的需求,这在二阶优化器中通常是必需的。因此,参数更新的学习率和预条件子拟合的步长被自然归一化,其默认值在大多数场景下表现良好。我们提出的方法为以较低的计算开销改善 SGD 的收敛提供了一个有前景的方向。我们证明了预条件 SGD(PSGD)在多种现代深度学习架构上的 Vision、NLP 和 RL 任务中均优于 SoTA。我们提供了本文中玩具实验和大规模实验的复现代码。
引用
@article{arxiv.2402.04553,
title = {Curvature-Informed SGD via General Purpose Lie-Group Preconditioners},
author = {Omead Pooladzandi and Xi-Lin Li},
journal= {arXiv preprint arXiv:2402.04553},
year = {2024}
}