Polyak-Lojasiewicz 不等式下含随机定点舍入误差的梯度下降法收敛性
机器学习
2025-01-22 v2 机器学习
数值分析
数值分析
最优化与控制
摘要
当使用低精度计算训练神经网络时，舍入误差常导致停滞或不利于优化器的收敛；本文研究在满足 Polyak-Lojasiewicz 不等式的问题中，舍入误差对梯度下降法收敛性的影响。在此背景下，我们表明相反地，有偏随机舍入误差可能是有益的，因为选择适当的舍入策略可消除梯度消失问题，并迫使舍入偏倚沿下降方向。此外，我们获得了比无偏随机舍入更严格的收敛速率界。理论分析通过比较使用低精度定点数格式优化若干示例时各种舍入策略的表现得到验证。
引用
@article{arxiv.2301.09511,
title = {On the Convergence of the Gradient Descent Method with Stochastic Fixed-point Rounding Errors under the Polyak-Lojasiewicz Inequality},
author = {Lu Xia and Michiel E. Hochstenbach and Stefano Massei},
journal= {arXiv preprint arXiv:2301.09511},
year = {2025}
}