MicroNets：面向商用微控制器上部署 TinyML 应用的神经网络架构

在资源受限的微控制器（MCUs）上本地执行机器学习工作负载有望大幅拓展物联网的应用空间。然而，所谓的 TinyML 带来了严峻的技术挑战，因为深度神经网络推理需要庞大的计算与内存开销。为应对该挑战，神经架构搜索（NAS）有望帮助设计满足微控制器严苛内存、延迟与能耗约束的精确 ML 模型。NAS 算法的关键组成部分是其延迟/能耗模型，即给定神经网络架构到其在微控制器上推理延迟/能耗的映射。在本文中，我们观察到用于微控制器模型设计的 NAS 搜索空间的一个有趣特性：平均而言，在搜索空间上均匀先验下，模型延迟随模型操作（op）数量线性变化。利用这一洞察，我们采用可微分 NAS（DNAS）搜索低内存占用与低操作数的模型，其中操作数被视为延迟的可行代理。实验结果验证了我们的方法，产生了我们的 MicroNet 模型，我们使用 Tensorflow Lite Micro（TinyML 社区广泛使用的标准开源 NN 推理运行时）将其部署于微控制器上。MicroNets 在所有三项 TinyMLperf 行业标准基准任务——视觉唤醒词、音频关键词 spotting 和异常检测——上均展示了最先进的结果。模型与训练脚本可在 github.com/ARM-software/ML-zoo 获取。