面向高效深度网络训练的动态加权动量与自适应步长
机器学习
2025-10-30 v1 神经与进化计算
摘要
在当前的深度学习研究领域，尽管优化算法如随机梯度下降（SGD）和自适应矩估估（Adam）得到了广泛应用，但仍存在显著不足，无法有效应对学习效率波动、复杂模型需求以及非凸优化问题的挑战。这些挑战主要源于算法在处理复杂数据结构和模型时的局限性，例如学习率选择困难、难以避免局部最优解以及在高维空间中的导航困难。为此，本文提出一种新型优化算法DWMGrad。该算法基于传统方法，引入基于历史数据的动态指导机制，以动态更新动量和学习率，使优化器能够灵活调整对历史信息的依赖程度，从而适应各种训练场景。该策略不仅使优化器能更好地适应变化的环境和任务复杂度，还通过大量实验验证，表明DWMGrad在多种情景下能够实现更快的收敛速度和更高的准确率。
引用
@article{arxiv.2510.25042,
title = {Dynamically Weighted Momentum with Adaptive Step Sizes for Efficient Deep Network Training},
author = {Zhifeng Wang and Longlong Li and Chunyan Zeng},
journal= {arXiv preprint arXiv:2510.25042},
year = {2025}
}
备注
45 pages, 12 figures