随机梯度下降在低精度数制下的收敛性
机器学习
2023-01-10 v2 数值分析
数值分析
摘要
深度学习模型主导着几乎所有人工智能任务，如视觉、文本与语音处理。随机梯度下降（SGD）是训练此类模型的主要工具，其计算通常以单精度浮点数格式执行。单精度SGD的收敛通常与实数的理论结果一致，因其误差可忽略。然而，当计算以低精度数制执行时数值误差增大。这提供了研究适配低精度计算的SGD收敛的迫切理由。我们给出SGD算法的确定性与随机性分析，获得显示数制影响的界。此类界可提供关于当约束使得执行高精度计算的可能性渺茫时SGD收敛受何影响的指导。
引用
@article{arxiv.2301.01651,
title = {On the Convergence of Stochastic Gradient Descent in Low-precision Number Formats},
author = {Matteo Cacciola and Antonio Frangioni and Masoud Asgharian and Alireza Ghaffari and Vahid Partovi Nia},
journal= {arXiv preprint arXiv:2301.01651},
year = {2023}
}