更少的比特进行训练：利用随机舍入解锁边缘 LLM 训练
机器学习
2025-11-04 v1 数值分析
数值分析
摘要
LLM 训练资源密集。量化训练可提高计算和内存效率，但会引入量化噪声，可能阻碍收敛并降低模型准确率。随机舍入（SR）作为一种理论上引人注目的确定性舍入替代方案，提供了无偏梯度估计。然而，随机舍入与其他训练因素——尤其是批量大小——的相互作用尚未得到充分探索。本文我们对小批量随机梯度下降（SGD）进行了理论与实证研究，表明更大的批量大小可以补偿反向传播期间精度的降低。进一步，我们表明对权重和激活值的量化对梯度方差具有不同的影响。我们的实验验证了这些理论见解。
引用
@article{arxiv.2511.00874,
title = {Training with Fewer Bits: Unlocking Edge LLMs Training with Stochastic Rounding},
author = {Taowen Liu and Marta Andronic and Deniz Gündüz and George A. Constantinides},
journal= {arXiv preprint arXiv:2511.00874},
year = {2025}
}