自适应精度训练 (AdaPT)：一种用于深度神经网络动态定点量化训练方法
机器学习
2023-05-24 v4 人工智能
摘要
量化是一种减少深度神经网络 (DNNs) 训练和推理时间的技术，这对于资源受限环境中的训练或推理时间关键的应用至关重要。最先进 (SOTA) 的量化方法聚焦于训练后量化，即对已预训练 DNN 进行量化以加速推理。尽管存在关于量化训练的工作，大多数方法在最终训练阶段需要以全精度（通常为单精度）进行微调，或强制整个 DNN 使用全局字长。这导致层间位宽分配次优，进而造成资源使用次优。为克服此类局限，我们引入 AdaPT，一种新的定点量化稀疏化训练策略。AdaPT 基于信息论条件在各训练轮次之间决策精度切换。目标是在逐层基础上确定不会引起量化导致信息损失的最低精度，同时保持精度足够高以使后续学习步骤不遭受梯度消失。所得全量化 DNN 的益处基于我们开发的分析性能模型进行评估。我们说明，在 CIFAR10/100 上针对 AlexNet/ResNet 相较于 float32 标准训练可实现平均 1.27 倍加速且平均准确率提升 0.98%，并进一步展示这些 AdaPT 训练模型实现平均 2.33 倍推理加速且模型尺寸缩减 0.52。
引用
@article{arxiv.2107.13490,
title = {Adaptive Precision Training (AdaPT): A dynamic fixed point quantized training approach for DNNs},
author = {Lorenz Kummer and Kevin Sidak and Tabea Reichmann and Wilfried Gansterer},
journal= {arXiv preprint arXiv:2107.13490},
year = {2023}
}
备注
14 pages, 8 figures, preprint