YONO：在微控制器上建模多个异构神经网络
机器学习
2022-03-09 v1
摘要
随着深度神经网络(DNN)的发展和物联网(IoT)系统大量传感器数据的出现，研究界致力于降低DNN的计算与资源需求以在资源受限的微控制器(MCU)上进行计算。然而，当前嵌入式深度学习的工作大多聚焦于高效解决单一任务，而物联网设备的多任务特性与应用要求系统能同时处理来自多种传感器的多样化任务（活动、语音和上下文识别）。本文中，我们提出YONO，一种基于乘积量化(PQ)的方法，其压缩多个异构模型并实现片上模型执行与切换，以在MCU上支持不同的多任务学习。我们首先采用PQ学习存储不同模型权重的码本。此外，我们提出一种新颖的网络优化与启发式策略，以最大化压缩率并最小化精度损失。然后，我们开发了YONO的在线组件，用于在MCU上运行时高效执行多个任务间的模型执行与切换，无需依赖外部存储设备。YONO表现出卓越性能，可将多个异构模型压缩高达12.37且精度损失可忽略或无损失。此外，与外部存储访问相比，YONO的在线组件实现了高效执行（每次操作延迟16-159 ms），并将模型加载/切换延迟和能耗分别降低93.3-94.5%和93.9-95.0%。有趣的是，YONO可压缩在YONO离线码本学习阶段未出现的数据集训练的各种架构，显示了方法的泛化性。总之，YONO展现出巨大潜力，并为在极度资源受限设备上实现多任务学习系统开辟了进一步空间。
引用
@article{arxiv.2203.03794,
title = {YONO: Modeling Multiple Heterogeneous Neural Networks on Microcontrollers},
author = {Young D. Kwon and Jagmohan Chauhan and Cecilia Mascolo},
journal= {arXiv preprint arXiv:2203.03794},
year = {2022}
}
备注
Accepted for publication at IPSN 2022