DTMM：通过剪枝将 TinyML 模型部署于极弱 IoT 设备
机器学习
2024-01-18 v1 人工智能
摘要
DTMM 是一个旨在为微控制器单元（MCU）等弱 IoT 设备高效部署和执行机器学习模型而设计的库。设计 DTMM 的动机源于新兴的微型机器学习（TinyML）领域，该领域探索将机器学习的应用范围扩展至众多低端 IoT 设备，以实现泛在智能。由于嵌入式设备能力较弱，在部署前必须通过剪枝足够多的权重来压缩模型。尽管剪枝已在许多计算平台上得到广泛研究，但在 MCU 上剪枝方法的两个关键问题被放大：模型需要在不显著降低准确率的情况下进行深度压缩，并且剪枝后应能高效执行。目前的解决方案只能实现其中一个目标，而无法兼顾。在本文中，我们发现剪枝模型在 MCU 上具有高效部署和执行的巨大潜力。因此，我们提出了 DTMM，包含剪枝单元选择、执行前剪枝优化、运行时加速和执行后低成本存储，以填补剪枝模型高效部署和执行的空白。它可以集成到商业 ML 框架中进行实际部署，并已开发出原型系统。在多种模型上的大量实验表明，与 SOTA 方法相比具有可观的收益。
引用
@article{arxiv.2401.09068,
title = {DTMM: Deploying TinyML Models on Extremely Weak IoT Devices with Pruning},
author = {Lixiang Han and Zhen Xiao and Zhenjiang Li},
journal= {arXiv preprint arXiv:2401.09068},
year = {2024}
}