基于在线量化敏感度分析的块级动态精度神经网络训练加速
机器学习
2022-11-01 v1 人工智能
图像与视频处理
摘要
数据量化是加速神经网络训练并降低功耗的有效方法。然而，进行低比特量化训练具有挑战性：传统的等精度量化会导致较高的精度损失或有限的位宽缩减，而现有的混合精度方法虽具有高压缩潜力，却未能实现准确高效的位宽分配。本工作中，我们提出 DYNASTY，一个块级动态精度神经网络训练框架。DYNASTY 通过快速在线分析提供准确的数据敏感度信息，并利用自适应位宽映射生成器保持稳定的训练收敛。我们在 CIFAR-100 和 ImageNet 数据集上进行了网络训练实验，与 8 位量化基线相比，DYNASTY 带来了高达 的加速和 的能耗降低，且无精度下降和可忽略的硬件开销。
引用
@article{arxiv.2210.17047,
title = {Block-Wise Dynamic-Precision Neural Network Training Acceleration via Online Quantization Sensitivity Analytics},
author = {Ruoyang Liu and Chenhan Wei and Yixiong Yang and Wenxun Wang and Huazhong Yang and Yongpan Liu},
journal= {arXiv preprint arXiv:2210.17047},
year = {2022}
}
备注
7 pages, to be published in 28th Asia and South Pacific Design Automation Conference (ASP-DAC 2023)