RCT：面向边缘 AI 的资源受限训练
机器学习
2021-03-29 v1 神经与进化计算
摘要
在边缘终端上训练神经网络对于边缘 AI 计算至关重要，其需要适应不断变化的环境。量化模型可以在边缘设备上高效运行，但现有针对这些紧凑模型的训练方法设计用于在具有充裕内存和能量预算的强大服务器上运行。例如，量化感知训练（QAT）方法涉及两份模型参数副本，这通常超出边缘设备片上内存的容量。片外与片上内存之间的数据移动也耗能巨大。这些资源需求对强大服务器而言微不足道，但对边缘设备却至关重要。为缓解这些问题，我们提出资源受限训练（RCT）。RCT 在整个训练过程中仅保留一个量化模型，从而减少了训练中对模型参数的内存需求。它动态调整逐层位宽，以在模型能以较低精度有效学习时节省能量。我们使用图像应用和自然语言处理中的代表性模型和任务进行了实验。实验表明，RCT 为通用矩阵乘法（GEMM）节省超过 86% 的能量，为模型参数节省超过 46% 的内存，且精度损失有限。与基于 QAT 的方法相比，RCT 在移动模型参数上节省约一半能量。
引用
@article{arxiv.2103.14493,
title = {RCT: Resource Constrained Training for Edge AI},
author = {Tian Huang and Tao Luo and Ming Yan and Joey Tianyi Zhou and Rick Goh},
journal= {arXiv preprint arXiv:2103.14493},
year = {2021}
}
备注
14 pages