DiTMoS：深入探索微控制器上的多样化微型模型选择
机器学习
2024-03-15 v1
摘要
由于片上资源受限，在微控制器上实现高效且准确的深度神经网络（DNN）推理并非易事。当前方法主要侧重于压缩较大模型，但以牺牲模型精度为代价。在本文中，我们从逆向视角重新思考该问题，直接构建小型/弱模型并提升其精度。因此，我们提出了 DiTMoS，一种采用选择器-分类器架构的新型 DNN 训练与推理框架，其中选择器将每个输入样本路由至合适的分类器进行分类。DiTMoS 基于一个关键洞察：弱模型的组合可以展现出高度的多样性，且它们的并集可以显著提升精度上限。为了逼近该上限，DiTMoS 引入了三种策略：多样化的训练数据划分以增加分类器的多样性；选择器-分类器对抗训练以确保协同交互从而最大化其互补性；异构特征聚合以提升分类器的能力。我们进一步提出了一种网络切片技术，以缓解特征聚合带来的额外内存开销。我们将 DiTMoS 部署在 Neucleo STM32F767ZI 开发板上，并基于三个时间序列数据集分别对人类活动识别、关键词 spotting 和情感识别进行了评估。实验结果表明： 与最佳基线相比，DiTMoS 的精度最高提升了 13.4%； 网络切片几乎完全消除了特征聚合带来的内存开销，且仅有微小的延迟增加。
引用
@article{arxiv.2403.09035,
title = {DiTMoS: Delving into Diverse Tiny-Model Selection on Microcontrollers},
author = {Xiao Ma and Shengfeng He and Hezhe Qiao and Dong Ma},
journal= {arXiv preprint arXiv:2403.09035},
year = {2024}
}