面向微控制器上高效稀疏深度神经网络的轻量级软件内核与硬件扩展
机器学习
2025-03-20 v2 人工智能
分布式、并行与集群计算
性能
摘要
在微控制器 (MCU) 等边缘设备上加速剪枝后的深度神经网络 (DNN) 是一项具有挑战性的任务，因为这些设备的面积和功耗限制非常严格。在这项工作中，我们提出了一种三方面的贡献来解决这个问题。首先，我们针对超低功耗多核 RISC-V MCU 设计了一组用于 N:M 剪枝层的优化软件内核，在 1:8 和 1:16 稀疏度下，它们分别比其稠密对应物快 2.1 倍和 3.4 倍。然后，我们实现了一个轻量级指令集架构 (ISA) 扩展，以加速我们的内核所需的间接加载和非零索引解压缩操作，在仅增加 5% 面积开销的情况下获得了高达 1.9 倍的额外加速。最后，我们扩展了一个开源 DNN 编译器以将我们的稀疏内核用于完整网络，在 ResNet18 和 Vision Transformer (ViT) 上分别展示了 3.21 倍和 1.81 倍的加速，且与稠密基线相比准确率下降不到 1.5%。
引用
@article{arxiv.2503.06183,
title = {Lightweight Software Kernels and Hardware Extensions for Efficient Sparse Deep Neural Networks on Microcontrollers},
author = {Francesco Daghero and Daniele Jahier Pagliari and Francesco Conti and Luca Benini and Massimo Poncino and Alessio Burrello},
journal= {arXiv preprint arXiv:2503.06183},
year = {2025}
}
备注
Accepted at MLSys 2025