面向 Cortex-M 微控制器的全量化深度神经网络设备内训练
机器学习
2024-10-24 v2 人工智能
摘要
设备内训练深度神经网络（DNN）可使模型在部署于微控制器单元（MCU）后能够适应新收集的数据或变化的领域进行微调。然而，DNN训练是资源密集型任务，由于处理器速度低、吞吐量受限、浮点支持有限以及内存受限，使在MCU上实现和执行DNN训练算法具有挑战性。本文探索了针对Cortex-M MCU的DNN设备内训练。我们提出一种方法，利用全量化训练（FQT）和动态部分梯度更新，使DNN能够在MCU上就地高效训练。我们在多个视觉和时间序列数据集上演示了该方法的可行性，并提供了关于训练精度、内存开销、能耗和实际硬件延迟之间权衡的见解。
引用
@article{arxiv.2407.10734,
title = {On-Device Training of Fully Quantized Deep Neural Networks on Cortex-M Microcontrollers},
author = {Mark Deutel and Frank Hannig and Christopher Mutschler and Jürgen Teich},
journal= {arXiv preprint arXiv:2407.10734},
year = {2024}
}
备注
12 pages, 9 figures