GASL：深度神经网络中用于稀疏性学习的引导注意力
计算机视觉与模式识别
2019-01-17 v2
摘要
网络剪枝的主要目标是通过增加零值参数的数量来施加稀疏性，从而减小模型规模并加速计算。在以往大多数研究中，稀疏性是随机施加的，未考虑权重分布或网络其他内部特征的先验知识。施加过多稀疏性可能导致精度下降，因为许多重要元素可能已被剔除。本文提出用于稀疏性学习的引导注意力（GASL），以实现（1）通过减少元素数量进行模型压缩并加速；（2）通过引导注意力机制监督稀疏性操作来防止精度下降；（3）引入可适配任意架构的通用机制。我们的工作旨在提供一个基于可解释注意力机制的框架，用于在深度神经网络中施加结构化与非结构化稀疏性。在 Cifar-100 实验中，我们达到了最先进的稀疏性水平与 2.91 倍加速，且精度与最佳方法相当。在 MNIST 与 LeNet 架构上，我们也达到了最高的稀疏性与加速水平。
引用
@article{arxiv.1901.01939,
title = {GASL: Guided Attention for Sparsity Learning in Deep Neural Networks},
author = {Amirsina Torfi and Rouzbeh A. Shirvani and Sobhan Soleymani and Naser M. Nasrabadi},
journal= {arXiv preprint arXiv:1901.01939},
year = {2019}
}