SWALP：低精度训练中的随机权重平均
机器学习
2019-05-21 v2 人工智能
机器学习
摘要
低精度运算可提供可扩展性、内存节省、可移植性和能效。本文提出SWALP，一种通过对低精度SGD迭代进行平均并采用改进学习率调度的低精度训练方法。SWALP易于实现，且即使所有数值量化至8位（包括梯度累加器）也能匹配全精度SGD的性能。此外，我们证明SWALP在二次目标下收敛到任意接近最优解，并在强凸设定下渐近收敛到一个比低精度SGD更小的噪声球。
引用
@article{arxiv.1904.11943,
title = {SWALP : Stochastic Weight Averaging in Low-Precision Training},
author = {Guandao Yang and Tianyi Zhang and Polina Kirichenko and Junwen Bai and Andrew Gordon Wilson and Christopher De Sa},
journal= {arXiv preprint arXiv:1904.11943},
year = {2019}
}
备注
Published at ICML 2019