凭依历史引导的动量 (HGM) 优化器：自适应学习率的方法
最优化与控制
2025-07-01 v1 人工智能
机器学习
摘要
我们提出凭依历史引导的动量 (HGM) 优化器，这是一种一阶优化算法，通过动态缩放学习率来适应最近更新的方向一致性。传统自适应方法，如 Adam 或 RMSprop，仅根据梯度的大小来调整优化动态，常常忽视重要的几何线索。几何线索指的是方向信息，例如当前梯度与过去更新之间的对齐程度，这反映了优化路径的局部曲率和一致性。HGM 通过纳入一种凭依历史机制来评估当前梯度与累积动量之间的余弦相似度，从而区分连贯与冲突的梯度方向。在更新方向一致时增加学习率，在振荡或噪声区域降低学习率。结果是一个更具响应性的优化器，在损失函数的平滑区域加速收敛，同时在较陡或更不规则的区域保持稳定性。尽管增加了这种自适应性，该方法保持了现有优化器的计算和内存效率。通过更智能地响应优化 landscapes 的结构，HGM 为深度神经网络训练等非凸问题提供了一种简单而有效的改进。
引用
@article{arxiv.2506.22479,
title = {Hindsight-Guided Momentum (HGM) Optimizer: An Approach to Adaptive Learning Rate},
author = {Krisanu Sarkar},
journal= {arXiv preprint arXiv:2506.22479},
year = {2025}
}