精度提升器：实现 DNN 训练的 4 位定点算术
机器学习
2024-06-03 v4
摘要
训练 DNN 模型对计算资源的空前需求引发了对最小数值编码的探索。近期最先进（SOTA）方案主张采用多级缩放的窄位宽数值格式。本文中，我们表明单级缩放足以在保持训练精度的同时最大化算术密度。我们确认此前提出的用于 8 位训练的单级缩放格式——混合块浮点（HBFP）——为可最小化的理想候选。我们利用数学工具对 HBFP 设计空间进行全规模探索，研究各参数间的相互作用，并识别跨层与跨周期更小编码的机会。基于发现，我们提出精度提升器（Accuracy Booster），一种混合尾数 HBFP 技术，其对训练中超过 99% 的算术运算使用 4 位尾数，仅最后一周期及第一/最后层使用 6 位尾数。我们展示精度提升器相较所有其他 SOTA 格式将算术密度提升至少 2.3 倍，同时在 4 位训练中达到最先进精度。
引用
@article{arxiv.2211.10737,
title = {Accuracy Booster: Enabling 4-bit Fixed-point Arithmetic for DNN Training},
author = {Simla Burcu Harma and Ayan Chakraborty and Nicholas Sperry and Babak Falsafi and Martin Jaggi and Yunho Oh},
journal= {arXiv preprint arXiv:2211.10737},
year = {2024}
}