Switch EMA：更好平坦性与尖锐性的免费午餐
机器学习
2024-10-08 v2 计算机视觉与模式识别
摘要
指数移动平均（EMA）是一种广泛使用的权重平均（WA）正则化方法，用于在深度神经网络（DNN）优化中学习平坦最优解以获得更好的泛化，且无需额外成本。尽管实现了更好的平坦性，但现有的WA方法可能陷入更差的最终性能或需要额外的测试时计算。这项工作通过一行修改揭示了EMA的全部潜力，即每个epoch后将EMA参数切换回原始模型，称为Switch EMA（SEMA）。从理论和实证两个方面，我们证明了SEMA可以帮助DNN达到更好地权衡平坦性和尖锐性的泛化最优解。为了验证SEMA的有效性，我们在视觉和语言数据集上进行了判别、生成和回归任务的对比实验，包括图像分类、自监督学习、目标检测与分割、图像生成、视频预测、属性回归和语言建模。使用流行优化器和网络的综合结果表明，SEMA是DNN训练的免费午餐，可以提高性能并加速收敛速度。
引用
@article{arxiv.2402.09240,
title = {Switch EMA: A Free Lunch for Better Flatness and Sharpness},
author = {Siyuan Li and Zicheng Liu and Juanxi Tian and Ge Wang and Zedong Wang and Weiyang Jin and Di Wu and Cheng Tan and Tao Lin and Yang Liu and Baigui Sun and Stan Z. Li},
journal= {arXiv preprint arXiv:2402.09240},
year = {2024}
}
备注
Preprint V2. Source code and models at https://github.com/Westlake-AI/SEMA