COPS：训练开始前受控剪枝
机器学习
2022-03-16 v1 计算机视觉与模式识别
摘要
最先进的深度神经网络(DNN)剪枝技术，在训练开始前一次性应用，借助称为剪枝分数的单一准则来评估稀疏架构。基于单一分数剪枝权重对某些架构和剪枝率效果良好，但也可能对其他情况失效。作为剪枝分数的通用基线，我们引入广义突触分数(GSS)的概念。本工作不聚焦于单一剪枝准则，而是提供一个组合任意GSS以创建更强大剪枝策略的框架。这些组合剪枝分数(COPS)通过求解约束优化问题获得。优化多于一个分数可防止稀疏网络过度专用于单个任务，从而在训练开始前受控剪枝(COntrols Pruning before training Starts)。COPS给出的组合优化问题被松弛为一个线性规划(LP)。该LP被解析求解并确定COPS的解。此外，提出了一种数值计算两个分数下COPS的算法并进行了评估。以这种方式求解COPS比最优通用LP求解器具有更低的复杂度。在我们的实验中，我们将COPS剪枝与最先进方法针对不同网络架构和图像分类任务进行比较，并获得了改进的结果。
引用
@article{arxiv.2107.12673,
title = {COPS: Controlled Pruning Before Training Starts},
author = {Paul Wimmer and Jens Mehnert and Alexandru Condurache},
journal= {arXiv preprint arXiv:2107.12673},
year = {2022}
}
备注
Accepted by The International Joint Conference on Neural Network (IJCNN) 2021