EAST：面向深度内存压缩卷积网络的编码感知稀疏训练
机器学习
2019-12-24 v1 计算机视觉与模式识别
机器学习
摘要
在具有有限非易失性内存空间的微型终端节点上部署深度卷积神经网络（ConvNets）需要智能压缩策略，以缩减占用空间同时保持预测精度。为此存在多种策略，从改变模型拓扑或算术精度者（例如剪枝与量化），到进行与模型无关的压缩者（例如权重编码）。内存约束越紧，这些技术单独使用无法满足要求的概率越高，因而不同优化间更高的感知与协作变得必要。本工作通过引入 EAST（编码感知稀疏训练，Encoding-Aware Sparse Training）解决该问题，这是一种新颖的内存约束训练流程，引导量化 ConvNets 实现深度内存压缩。EAST 实现一种自适应分组剪枝，旨在最大化权重编码方案（本工作中为 LZ4 算法）的压缩率。与现有方法相比，EAST 以更低稀疏度满足内存约束，从而确保更高精度。在部署于低功耗微控制器（ARM Cortex-M4）的最先进 ConvNet（ResNet-9）上的结果验证了该方案。
引用
@article{arxiv.1912.10087,
title = {EAST: Encoding-Aware Sparse Training for Deep Memory Compression of ConvNets},
author = {Matteo Grimaldi and Valentino Peluso and Andrea Calimera},
journal= {arXiv preprint arXiv:1912.10087},
year = {2019}
}