Mandheling：基于DSP卸载的混合精度端侧DNN训练系统
网络与互联网体系结构
2022-07-07 v2
摘要
本文提出Mandheling，这是首个通过协调混合精度训练与片上数字信号处理（DSP）卸载来实现高资源效率端侧训练的系统。Mandheling通过四项新技术充分挖掘DSP在基于整数的数值计算中的优势：（1）CPU-DSP协同调度方案，以缓解DSP不友好算子带来的开销；（2）自适应重缩放算法，以降低反向传播中动态重缩放的开销；（3）批分割算法，以提升DSP缓存效率；（4）DSP计算子图复用机制，以消除DSP上的准备开销。我们已完整实现Mandheling，并通过大量实验验证其有效性。结果表明，与来自TFLite和MNN的先进DNN引擎相比，Mandheling将每批训练时间平均减少5.5，能耗平均减少8.9。在端到端训练任务中，Mandheling将收敛时间最多减少10.7，能耗最多减少13.1，且仅相比FP32精度设置损失1.9%-2.7%的准确率。
引用
@article{arxiv.2206.07509,
title = {Mandheling: Mixed-Precision On-Device DNN Training with DSP Offloading},
author = {Daliang Xu and Mengwei Xu and Qipeng Wang and Shangguang Wang and Yun Ma and Kang Huang and Guang Huang and Xin Jin and Xuanzhe Liu},
journal= {arXiv preprint arXiv:2206.07509},
year = {2022}
}