深度学习优化中的偏差减少：RSGDM 方法
机器学习
2024-09-25 v1
摘要
目前，广泛使用的一阶深度学习优化器包括非自适应学习率优化器和自适应学习率优化器。前者由 SGDM (随机梯度下降带动量) 表示，后者由 Adam 表示。两种方法都使用指数移动平均来估计整体梯度。然而，使用指数移动平均估计整体梯度会引入偏差并存在滞后。本文提出一种基于差分校正的 RSGDM 算法。我们的贡献主要包括：1)分析 SGDM 算法中指数移动平均带来的偏差和滞后；2)使用差分估计术语校正 SGDM 算法中的偏差和滞后，提出 RSGDM 算法；3)在 CIFAR 数据集上的实验表明，RSGDM 算法在收敛准确性方面优于 SGDM 算法。
引用
@article{arxiv.2409.15314,
title = {Reducing Bias in Deep Learning Optimization: The RSGDM Approach},
author = {Honglin Qin and Hongye Zheng and Bingxing Wang and Zhizhong Wu and Bingyao Liu and Yuanfang Yang},
journal= {arXiv preprint arXiv:2409.15314},
year = {2024}
}