小心使用手术刀：利用 EMA 改进梯度手术
机器学习
2025-03-07 v2 机器学习
摘要
除了最小化单一训练损失外，许多深度学习估计流程还依赖辅助目标来量化并鼓励模型的期望属性（例如在另一个数据集上的性能、鲁棒性、与先验的一致性）。虽然纳入辅助损失的最简单方法是将其作为正则化项与训练损失相加，但最近的研究表明，通过超越简单求和的方式混合梯度可以提升性能；这被称为梯度手术。我们将该问题表述为一个约束最小化问题，即在训练损失的极小值集合中最小化辅助目标。为了解决这个双层问题，我们遵循一个参数更新方向，该方向结合了训练损失梯度与辅助梯度在训练梯度上的正交投影。在梯度来自小批量（mini-batches）的设置中，我们解释了如何利用训练损失梯度的移动平均（EMA）来谨慎地保持这一关键的正交性属性。我们证明，我们的方法 Bloop 在自然语言处理和视觉实验中，相比其他不使用 EMA 的梯度手术方法，能带来更好的性能。
引用
@article{arxiv.2402.02998,
title = {Careful with that Scalpel: Improving Gradient Surgery with an EMA},
author = {Yu-Guan Hsieh and James Thornton and Eugene Ndiaye and Michal Klein and Marco Cuturi and Pierre Ablin},
journal= {arXiv preprint arXiv:2402.02998},
year = {2025}
}