深度神经网络在微控制器上的量化与部署
摘要
将人工智能嵌入低功耗设备是一项具有挑战性的任务，随着机器学习和硬件设计的最新进展，该任务已部分得到克服。目前，深度神经网络可部署于嵌入式目标以执行语音识别、目标检测或人类活动识别等不同任务。然而，深度神经网络在嵌入式设备上的优化仍有空间。这些优化主要解决功耗、内存和实时性约束，以及更便捷的边缘部署问题。此外，对于不同用例所能达到的效果仍需要更好的理解。本工作聚焦于深度神经网络在低功耗 32 位微控制器上的量化与部署。首先概述了在微控制器上嵌入式执行背景下相关的量化方法。随后，提出了一个端到端深度神经网络训练、量化和部署的新框架。该框架称为 MicroAI，旨在作为现有推理引擎（TensorFlow Lite for Microcontrollers 和 STM32CubeAI）的替代方案。我们的框架确实可以针对特定用例轻松调整或扩展。支持使用单精度 32 位浮点以及 8 位和 16 位定点整数的执行。所提出的量化方法使用三个不同数据集（UCI-HAR、Spoken MNIST 和 GTSRB）进行了评估。最后，从内存和功耗效率方面提供了 MicroAI 与两种现有嵌入式推理引擎的比较研究。设备端评估使用基于 ARM Cortex-M4F 的微控制器（Ambiq Apollo3 和 STM32L452RE）完成。
引用
@article{arxiv.2105.13331,
title = {Quantization and Deployment of Deep Neural Networks on Microcontrollers},
author = {Pierre-Emmanuel Novac and Ghouthi Boukli Hacene and Alain Pegatoquet and Benoît Miramond and Vincent Gripon},
journal= {arXiv preprint arXiv:2105.13331},
year = {2021}
}
备注
34 pages, 14 figures. Published in MDPI Sensors 2021, special issue "Embedded Artificial Intelligence (AI) for Smart Sensing and IoT Applications": https://www.mdpi.com/1424-8220/21/9/2984 . v2: add reference for MicroAI software and link to source code repository; fix Eq. 3 according to implementation; improve English grammar and spelling; improve page layout