无滞后 EMA：偏差校正的迭代平均方案
机器学习
2025-08-04 v1 人工智能
机器学习
摘要
语言模型微调中的随机性往往由小批量大小引起，这会在生成质量上引入大幅振荡，导致训练不稳定。缓解这种不稳定性的流行方法是对训练期间的权重进行指数移动平均（EMA）。虽然EMA可减少随机性，从而平滑训练，但引入的旧迭代的偏差常常导致优化相对于普通训练出现滞后。在本文中，我们提出了偏差校正的指数移动平均（BEMA），这是EMA的一种简单且实用的增强方法，旨在保留方差缩减的优势同时消除偏差。BEMA受到简单理论模型的启发，我们在该模型中演示了BEMA相对于标准EMA和普通训练的可证明加速。通过在语言模型上的广泛实验，我们展示BEMA在各种标准LM基准测试中实现了显著更快的收敛速度和最终性能，使其成为更稳定和更高效微调的实用且理论驱动的干预。
引用
@article{arxiv.2508.00180,
title = {EMA Without the Lag: Bias-Corrected Iterate Averaging Schemes},
author = {Adam Block and Cyril Zhang},
journal= {arXiv preprint arXiv:2508.00180},
year = {2025}
}