AP：用于对已剪枝神经网络去稀疏化的选择性激活
机器学习
2022-12-14 v1 人工智能
计算机视觉与模式识别
摘要
修正线性单元（ReLU）是神经网络中极为成功的激活函数，因为它使网络能够轻松获得稀疏表示，从而减少过参数化网络中的过拟合。然而，在网络剪枝中，我们发现 ReLU 引入的稀疏性（我们用称为动态死神经元率（DNR）的项来量化）对剪枝后的网络并无益处。有趣的是，网络被剪枝得越多，优化过程中的动态 DNR 就越小。这促使我们提出一种方法来显式降低剪枝后网络的动态 DNR，即对已剪枝网络去稀疏化。我们将该方法称为剪枝同时激活（AP）。我们注意到 AP 并非独立方法，因为它不评估权重的重要性。相反，它与现有剪枝方法协同工作，旨在通过选择性激活节点来降低动态 DNR 以提升其性能。我们使用流行网络（如 ResNet、VGG）通过两种经典和三种最先进（state-of-the-art）的剪枝方法进行了大量实验。在公开数据集（如 CIFAR-10/100）上的实验结果表明，AP 与现有剪枝方法配合良好，并将性能提升 3% - 4%。对于更大规模的数据集（如 ImageNet）和最先进的网络（如 vision transformer），我们观察到使用 AP 相对于不使用可带来 2% - 3% 的提升。最后，我们进行了消融研究以检验 AP 各组成部分的有效性。
引用
@article{arxiv.2212.06145,
title = {AP: Selective Activation for De-sparsifying Pruned Neural Networks},
author = {Shiyu Liu and Rohan Ghosh and Dylan Tan and Mehul Motani},
journal= {arXiv preprint arXiv:2212.06145},
year = {2022}
}
备注
16 Pages