FracTrain：在时间与空间上分数式压榨比特节省以实现高效 DNN 训练
计算机视觉与模式识别
2025-01-07 v2
摘要
深度神经网络（DNNs）近期的突破激发了对具备现场学习能力的智能边缘设备的巨大需求，而此类系统的实际实现仍具挑战，原因在于边缘端可用资源有限以及最先进（SOTA）DNNs 所需的庞大训练成本。由于降低精度是提升训练时间/能量效率最有效的调节手段之一，低精度 DNN 训练日益受到关注。本文从正交方向探索：如何沿训练轨迹渐进地、并按输入动态地，从最冗余的比特层级分数式压榨出更多训练成本节省。具体而言，我们提出 FracTrain，其集成了（i）渐进式分数量化，逐步提升激活、权重与梯度的精度，直至最终训练阶段才达到 SOTA 静态量化 DNN 训练的精度；以及（ii）动态分数量化，以输入自适应方式为每层的激活与梯度分配精度，仅“分数式”更新层参数。大量仿真与消融研究（六个模型、四个数据集以及三种训练设置，包括标准、适配与微调）验证了 FracTrain 在降低 DNN 训练的计算成本与硬件量化的能量/延迟的同时，取得可比或更优（-0.12%~+1.87%）精度方面的有效性。例如，在 CIFAR-10 上训练 ResNet-74 时，相较最佳 SOTA 基线，FracTrain 分别实现 77.6% 与 53.5% 的计算成本与训练延迟节省，同时取得可比（-0.07%）精度。我们的代码见：https://github.com/RICE-EIC/FracTrain。
引用
@article{arxiv.2012.13113,
title = {FracTrain: Fractionally Squeezing Bit Savings Both Temporally and Spatially for Efficient DNN Training},
author = {Yonggan Fu and Haoran You and Yang Zhao and Yue Wang and Chaojian Li and Kailash Gopalakrishnan and Zhangyang Wang and Yingyan Celine Lin},
journal= {arXiv preprint arXiv:2012.13113},
year = {2025}
}
备注
Accepted at NeurIPS 2020