从零开始同时学习剪枝结构与权重：一种基于注意力的方法
机器学习
2022-06-09 v2 计算机视觉与模式识别
摘要
由于深度学习模型通常包含数百万可训练权重，对具有更小存储空间和更高运行效率的更高效网络结构的需求日益增长。剪枝是最流行的网络压缩技术之一。在本文中，我们提出了一种新颖的非结构化剪枝流程，即基于注意力的稀疏结构与权重同步学习（ASWL）。与传统的通道级或权重级注意力机制不同，ASWL提出了一种高效算法，通过逐层注意力计算每一层的剪枝率，并同时跟踪稠密网络和稀疏网络的权重，从而从随机初始化权重中同步学习剪枝结构。我们在MNIST、Cifar10和ImageNet上的实验表明，与最先进的网络剪枝方法相比，ASWL在准确率、剪枝率和运行效率方面均取得了更优的剪枝结果。
引用
@article{arxiv.2111.02399,
title = {Learning Pruned Structure and Weights Simultaneously from Scratch: an Attention based Approach},
author = {Qisheng He and Weisong Shi and Ming Dong},
journal= {arXiv preprint arXiv:2111.02399},
year = {2022}
}