深度神经网络超低精度无乘法训练
机器学习
2023-03-01 v1 人工智能
摘要
深度神经网络（DNNs）的训练需要巨大的能耗，这限制了深度学习的发展并增加了碳排放。因此，研究DNNs的能效训练至关重要。在训练中，线性层消耗最多能量，因为在乘加（MAC）中密集使用了高能耗的全精度（FP32）乘法。能效相关工作试图降低乘法精度或用加法或位移位等节能操作替代乘法，以减少FP32乘法的能耗。然而，现有能效工作无法在前向与反向传播中均以低精度节能操作替代所有FP32乘法。本工作中，我们提出自适应逐层缩放幂次量化（ALS-POTQ）方法与无乘法MAC（MF-MAC），以INT4加法与1-bit异或操作替代所有FP32乘法。此外，我们提出权重偏置校正与参数化比例截断技术以稳定训练并提升精度。在我们的训练方案中，上述方法均不引入额外乘法，因此我们将训练期间线性层的能耗降低达95.8%。实验上，我们在ImageNet的CNN模型与WMT En-De任务的Transformer模型上实现了小于1%的精度下降。总之，我们在能效与精度上均显著优于现有方法。
引用
@article{arxiv.2302.14458,
title = {Ultra-low Precision Multiplication-free Training for Deep Neural Networks},
author = {Chang Liu and Rui Zhang and Xishan Zhang and Yifan Hao and Zidong Du and Xing Hu and Ling Li and Qi Guo},
journal= {arXiv preprint arXiv:2302.14458},
year = {2023}
}