利用改进 Adam 优化器稳定 16 位神经网络训练中的反向传播
机器学习
2025-06-18 v8
摘要
在本研究中，我们解决了机器学习模型 16 位计算中观察到的数值不稳定性相关的关键问题。这种不稳定性，尤其在使用如 Adam 等流行优化算法时，常导致深度神经网络训练不稳定。这不仅扰乱学习过程，也为在真实应用中部署可靠模型带来重大挑战。我们的研究确定 epsilon 超参数为该不稳定性的主要来源。细致探究揭示，在 16 位计算中对 epsilon 的细微调整可增强 Adam 的数值稳定性，从而实现 16 位神经网络更稳定的训练。我们提出一种新颖可靠的方法，利用来自 Adam 优化器的更新来增强学习过程的稳定性。我们的贡献为低精度计算中的优化挑战提供了更深入的见解，并提供了确保深度神经网络训练稳定性的解决方案，为其各类应用中的可靠使用铺平道路。
引用
@article{arxiv.2307.16189,
title = {Stabilizing Backpropagation in 16-bit Neural Training with Modified Adam Optimizer},
author = {Juyoung Yun},
journal= {arXiv preprint arXiv:2307.16189},
year = {2025}
}