DIVISION：基于双激活精度的内存高效训练
机器学习
2023-05-23 v5
摘要
激活压缩训练为降低深度神经网络（DNNs）训练的内存开销提供了一种解决方案。然而，现有最优工作将量化位宽的搜索与训练相结合，使得过程复杂且不够透明。为此，我们提出了一种简单有效的DNN训练压缩方法。我们的方法受一个具有启发性的观察所驱动：DNN反向传播主要利用激活图的低频分量（LFC），而训练期间大部分内存用于缓存高频分量（HFC）。这表明在DNN训练过程中激活图的HFC高度冗余且可压缩，从而启发了我们提出的双激活精度（DIVISION）。在训练期间，DIVISION保留LFC的高精度副本，并将HFC压缩为低数值精度的轻量级副本。这能在不影响反向传播精度的前提下显著减少内存开销，从而使DIVISION保持具有竞争力的模型准确率。实验结果表明，DIVISION相比最优方法具有更好的综合性能，包括超过10倍的激活图压缩比和具有竞争力的训练吞吐量，且不损失模型准确率。
引用
@article{arxiv.2208.04187,
title = {DIVISION: Memory Efficient Training via Dual Activation Precision},
author = {Guanchu Wang and Zirui Liu and Zhimeng Jiang and Ninghao Liu and Na Zou and Xia Hu},
journal= {arXiv preprint arXiv:2208.04187},
year = {2023}
}