利用自动化混合低精度量化部署于微型边缘微控制器
机器学习
2020-08-13 v1 机器学习
摘要
即便采用有效的 8 位量化方案，严峻的片上内存限制目前仍阻碍着最精确的深度神经网络（DNN）模型部署于微型微控制器单元（MCU）上。为解决此问题，本文提出一种基于 HAQ 框架但针对 MCU 设备的内存与计算特性定制的自动化混合精度量化流程。具体而言，在 RAM 与 FLASH 嵌入式内存大小的严格约束下，一个强化学习（RL）智能体在 2、4、8 位中搜索各权重与激活张量的最佳均匀量化等级。我们在 MobileNetV1、MobileNetV2 与 MNasNet 模型上针对 Imagenet 分类进行了实验分析。关于量化策略搜索，RL 智能体选择最大化内存利用率的量化策略。给定仅权重量化的 MCU 级 2MB 内存上限，由混合精度引擎生成的压缩模型与采用非均匀函数（其并非为仅支持整数运算的 CPU 定制）量化的当前最优方案同样精确。这表明 MCU 部署所需的均匀量化在深度权重压缩方面的可行性。当同时将激活内存预算限制为 512kB 时，得益于所发现的量化策略，最佳 MobileNetV1 模型在 Imagenet 上取得高达 68.4% 的准确率，比符合相同内存约束的其他 8 位网络准确率高 4%。
引用
@article{arxiv.2008.05124,
title = {Leveraging Automated Mixed-Low-Precision Quantization for tiny edge microcontrollers},
author = {Manuele Rusci and Marco Fariselli and Alessandro Capotondi and Luca Benini},
journal= {arXiv preprint arXiv:2008.05124},
year = {2020}
}