面向资源受限设备的自适应精度训练
机器学习
2020-12-24 v1
摘要
就地学习是边缘 AI 的一个日益增长的趋势。在边缘设备上训练深度神经网络(DNN)具有挑战性,因为能量和内存都受限。低精度训练有助于降低单次训练迭代的能量开销,但这并不一定转化为整个训练过程的节能,因为低精度可能会减慢收敛速度。一个证据是,大多数低精度训练工作在训练期间保留模型的 fp32 副本,这反过来对边缘设备施加了内存需求。在这项工作中,我们提出自适应精度训练(Adaptive Precision Training, APT)。它能够同时节省总训练能量开销和内存使用量。我们在前向和反向传播中使用相同精度的模型,以减少训练的内存使用量。通过评估训练的进展,APT 动态分配逐层精度,从而使模型在更长时间内学习得更快。APT 为用户提供一个特定于应用的超参数,以在训练能量开销、内存使用和精度之间进行权衡。实验表明,APT 在有限的精度损失下实现了超过 50% 的训练能量和内存使用节省。以 1% 的精度损失为代价,可额外实现 20% 的训练能量和内存使用节省。
引用
@article{arxiv.2012.12775,
title = {Adaptive Precision Training for Resource Constrained Devices},
author = {Tian Huang and Tao Luo and Joey Tianyi Zhou},
journal= {arXiv preprint arXiv:2012.12775},
year = {2020}
}
备注
6 pages