基于嵌套稀疏性的微型设备动态卷积网络
机器学习
2022-03-08 v1
摘要
本文提出一种新的训练与压缩流程，以构建嵌套稀疏卷积网络（Nested Sparse ConvNets），该类动态卷积神经网络（ConvNets）适用于部署在物联网边缘资源受限设备上的推理任务。一个嵌套稀疏卷积网络由单一卷积网络架构构成，其中包含 N 个具有嵌套权重子集的稀疏子网络，如同套娃一般，并可在运行时以模型稀疏性为动态旋钮，权衡精度与延迟。为在训练时获得高准确率，我们提出一种梯度掩码技术，在嵌套权重子集间最优地路由学习信号。为最小化存储占用并在推理时高效处理所得模型，我们引入一种新的稀疏矩阵压缩格式及专用计算内核，充分利用嵌套权重子集的特性。在现成 ARM-M7 微控制器单元（MCU）上的图像分类与目标检测任务测试中，嵌套稀疏卷积网络优于通过组装独立训练的单一稀疏模型而朴素构建的可变延迟方案，实现了（i）可比精度，（ii）显著存储节省，以及（iii）高性能。此外，与动态剪枝和层宽缩放等最先进动态策略相比，嵌套稀疏卷积网络在精度-延迟空间中为帕累托最优。
引用
@article{arxiv.2203.03324,
title = {Dynamic ConvNets on Tiny Devices via Nested Sparsity},
author = {Matteo Grimaldi and Luca Mocerino and Antonio Cipolletta and Andrea Calimera},
journal= {arXiv preprint arXiv:2203.03324},
year = {2022}
}
备注
Submitted to the IEEE