通过主动注意力操纵进行剪枝
计算机视觉与模式识别
2022-10-21 v1 人工智能
机器学习
神经与进化计算
摘要
CNN 的滤波器剪枝通常通过对 CNN 的滤波器权重或激活图施加离散掩码并在训练后实现。在此，我们提出一种名为通过主动注意力操纵进行剪枝（PAAM）的滤波器重要性评分新概念，它在训练过程中通过一种特定的注意力机制使 CNN 的滤波器集合稀疏化。PAAM 通过优化由评分中加性项正则化的代价函数，从滤波器权重中学习模拟滤波器评分。由于滤波器并非独立，我们使用注意力来动态学习它们之间的相关性。此外，通过同时训练所有层的剪枝评分，PAAM 能够考虑层间相互依赖关系，这对于寻找高性能稀疏子网络至关重要。PAAM 还可以从头开始以直接的一阶段训练过程训练并生成剪枝网络，无需预训练网络。最后，PAAM 不需要层特定超参数和预定义层预算，因为它可以隐式确定每层合适的滤波器数量。我们在不同网络架构上的实验结果表明，PAAM 优于最先进的结构化剪枝方法（SOTA）。在 CIFAR-10 数据集上，无需预训练基线网络，我们在 ResNet56 和 ResNet110 上分别获得了 1.02% 和 1.19% 的准确率提升以及 52.3% 和 54% 的参数减少。类似地，在 ImageNet 数据集上，PAAM 在 ResNet50 上剪枝 51.1% 参数的同时实现了 1.06% 的准确率提升。对于 Cifar-10，这分别比 SOTA 高出 9.5% 和 6.6% 的余量，在 ImageNet 上高出 11% 的余量。
引用
@article{arxiv.2210.11114,
title = {Pruning by Active Attention Manipulation},
author = {Zahra Babaiee and Lucas Liebenwein and Ramin Hasani and Daniela Rus and Radu Grosu},
journal= {arXiv preprint arXiv:2210.11114},
year = {2022}
}
备注
arXiv admin note: substantial text overlap with arXiv:2204.07412