CPT：通过循环精度实现高效的深度神经网络训练
机器学习
2025-01-07 v4
摘要
低精度深度神经网络（DNN）训练已获得极大关注，因为降低精度是提升 DNN 训练时间/能量效率最有效的调节手段之一。受近期关于理解 DNN 训练发现的启发，本文尝试从一个新视角探索低精度训练：我们推测 DNN 的精度在训练过程中可能与学习率有类似的作用，并主张沿训练轨迹使用动态精度以进一步提升 DNN 训练的时间/能量效率。具体而言，我们提出循环精度训练（Cyclic Precision Training, CPT），在两个边界值之间循环变化精度，这两个边界值可通过在前几个训练周期内进行简单的精度范围测试来确定。在五个数据集和十一个模型上的大量仿真与消融研究表明，CPT 的有效性在各种模型/任务（包括分类与语言建模）中保持一致。此外，通过实验与可视化我们表明 CPT 有助于（1）收敛到更宽的极小点且泛化误差更低，以及（2）降低训练方差，我们认为这为进一步同时改善 DNN 训练的优化与效率打开了一个新的设计调节旋钮。我们的代码可在 https://github.com/RICE-EIC/CPT 获取。
引用
@article{arxiv.2101.09868,
title = {CPT: Efficient Deep Neural Network Training via Cyclic Precision},
author = {Yonggan Fu and Han Guo and Meng Li and Xin Yang and Yining Ding and Vikas Chandra and Yingyan Celine Lin},
journal= {arXiv preprint arXiv:2101.09868},
year = {2025}
}
备注
Accepted at ICLR 2021 (Spotlight)