LEAN：基于图提取最长链卷积神经网络的剪枝方法
机器学习
2022-06-24 v3 计算机视觉与模式识别
神经与进化计算
摘要
神经网络剪枝技术可大幅降低应用卷积神经网络（CNNs）的计算成本。常见的剪枝方法通过单独对卷积滤波器排序来确定移除哪些滤波器，即未考虑其相互依赖关系。本文中，我们主张剪枝应考虑一系列连续算子之间的相互依赖。我们提出 LongEst-chAiN（LEAN）方法，利用基于图的算法选取相关的卷积链来对 CNN 进行剪枝。CNN 被解释为图，以各算子的算子范数作为边的距离度量。LEAN 剪枝迭代地从图中提取最高价值路径予以保留。在我们的实验中，我们在多个图像到图像任务上测试 LEAN 剪枝，包括著名的 CamVid 数据集和真实世界 X 射线 CT 数据集。结果表明，LEAN 剪枝可得到精度相近的网络，同时比现有方法少用 1.7-12 倍卷积滤波器。
引用
@article{arxiv.2011.06923,
title = {LEAN: graph-based pruning for convolutional neural networks by extracting longest chains},
author = {Richard Schoonhoven and Allard A. Hendriksen and Daniël M. Pelt and K. Joost Batenburg},
journal= {arXiv preprint arXiv:2011.06923},
year = {2022}
}
备注
10 pages + 2 pages references. Code is publicly available at: https://github.com/schoonhovenrichard/LEAN_CNN_pruning