LNS-Madam：基于乘性权重更新的对数数字系统低精度训练
机器学习
2022-08-24 v3 硬件体系结构
摘要
以低精度表示深度神经网络（DNNs）是一种实现高效加速和内存缩减的有前景的方法。先前在低精度下训练 DNNs 的方法通常在权重更新期间保留一份高精度权重副本。直接用低精度权重训练会因低精度数字系统与学习算法之间的复杂交互而导致精度下降。为解决该问题，我们开发了一个协同设计的低精度训练框架，称为 LNS-Madam，其中我们联合设计了对数数字系统（LNS）和乘性权重更新算法（Madam）。我们证明 LNS-Madam 在权重更新期间产生低量化误差，即使精度受限也能保持稳定的性能。我们进一步提出了 LNS-Madam 的硬件设计，解决了实现高效 LNS 计算数据通路的实际挑战。我们的实现有效降低了 LNS 到整数转换和部分和累加所带来的能量开销。实验结果表明，在流行的计算机视觉和自然语言任务上，LNS-Madam 仅用 8 位便达到了与全精度对应模型相当的精度。与 FP32 和 FP8 相比，LNS-Madam 分别将能耗降低了超过 90% 和 55%。
引用
@article{arxiv.2106.13914,
title = {LNS-Madam: Low-Precision Training in Logarithmic Number System using Multiplicative Weight Update},
author = {Jiawei Zhao and Steve Dai and Rangharajan Venkatesan and Brian Zimmer and Mustafa Ali and Ming-Yu Liu and Brucek Khailany and Bill Dally and Anima Anandkumar},
journal= {arXiv preprint arXiv:2106.13914},
year = {2022}
}