基于注意力的移位网络剪枝
神经与进化计算
2019-05-30 v1
摘要
在计算机视觉等许多应用领域中，卷积层（CLs）是深度学习方法准确性的关键。然而，为了达到最先进的准确性，通常需要组装大量的CLs，每个包含数千个参数，从而导致复杂且高需求的系统，难以适配资源受限设备。最近，有人提出用移位操作与更简单的1x1卷积的组合来替代通用卷积算子。所得块称为移位层（SL），是CLs的高效替代方案，因为它能以更快的计算和更少的参数在各种任务上达到类似的准确性。在本文中，我们引入移位注意力层（SALs），其通过使用注意力机制扩展SLs，该机制在网络函数被训练的同时学习哪些移位是最佳的。我们证明SALs在各种目标识别基准上能够优于原始SLs（和CLs），同时显著减少推理的浮点运算次数和参数数量。
引用
@article{arxiv.1905.12300,
title = {Attention Based Pruning for Shift Networks},
author = {Ghouthi Boukli Hacene and Carlos Lassance and Vincent Gripon and Matthieu Courbariaux and Yoshua Bengio},
journal= {arXiv preprint arXiv:1905.12300},
year = {2019}
}