DASNet：面向神经网络效率提升的动态激活稀疏化
机器学习
2019-09-17 v1 神经与进化计算
机器学习
摘要
为提升嵌入式系统中神经网络的执行速度与效率，降低模型规模与计算复杂度至关重要。除常规的压缩技术（如权值剪枝与量化）外，移除不重要的激活可减少数据通信量与计算开销。与权值参数不同，激活的模式与输入数据直接相关，从而动态变化。为调控动态激活稀疏性（DAS），本文提出一种基于赢者通吃（WTA） dropout 技术的通用低成本方法。经所提 WTA dropout 增强的网络，即 \textit{DASNet}，具有结构化的激活稀疏性且稀疏度更高。相较于静态特征图剪枝方法，DASNet 提供了更好的计算成本削减。WTA 技术可轻松应用于深度神经网络而不引入额外训练变量。更重要的是，DASNet 可与其他压缩技术（如权值剪枝与量化）无缝集成且不损害精度。我们在多种网络与数据集上的实验呈现出显著的运行时加速且精度损失可忽略。
引用
@article{arxiv.1909.06964,
title = {DASNet: Dynamic Activation Sparsity for Neural Network Efficiency Improvement},
author = {Qing Yang and Jiachen Mao and Zuoguan Wang and Hai Li},
journal= {arXiv preprint arXiv:1909.06964},
year = {2019}
}