LDP：用于高效深度神经网络训练与推理的可学习动态精度
机器学习
2022-03-16 v1
摘要
低精度深度神经网络（DNN）训练是从最细的比特层级削减训练成本、提升 DNN 训练效率的最有效技术之一。现有工作大多在整个训练过程中固定模型精度，而少数开创性工作表明动态精度调度有助于 DNN 收敛到更好精度，同时比静态精度训练对应方法带来更低训练成本。然而，现有动态低精度训练方法依赖人工设计的精度调度以实现有利的效率和精度权衡，限制了其更普遍的实际应用与可达成性能。为此，我们提出 LDP，一种可学习动态精度 DNN 训练框架，可在训练中自动学习时空动态精度调度，以朝向最优精度与效率权衡。值得注意的是，LDP 训练的 DNN 在推理时天然高效。此外，我们可视化所得时空精度调度及 LDP 训练 DNN 在不同任务上的精度分布，以更好理解相应 DNN 在训练期间与训练后不同训练阶段及 DNN 层的特性，从而为促进进一步创新提供见解。大量实验与消融研究（七个网络、五个数据集、三个任务）表明，所提 LDP 在训练效率与达成精度权衡上持续优于最先进（SOTA）低精度 DNN 训练技术。例如，除自动化优势外，与最佳 SOTA 方法相比，我们的 LDP 在 CIFAR-10 上训练 ResNet-20 时以低 39.1% 的计算成本取得高 0.31% 的精度。
引用
@article{arxiv.2203.07713,
title = {LDP: Learnable Dynamic Precision for Efficient Deep Neural Network Training and Inference},
author = {Zhongzhi Yu and Yonggan Fu and Shang Wu and Mengquan Li and Haoran You and Yingyan Lin},
journal= {arXiv preprint arXiv:2203.07713},
year = {2022}
}