基于图元网络的元剪枝：一种通用的网络剪枝元学习框架
机器学习
2025-12-16 v3 人工智能
计算机视觉与模式识别
摘要
我们提出了一种全新的网络剪枝元学习框架。它是一个通用框架，理论上可应用于几乎所有类型的网络以及各种剪枝方法，具有很强的通用性和可迁移性。实验表明，它能在许多流行且具有代表性的剪枝任务（包括CNN和Transformer）上取得优异成果。与所有先前依赖固定手工标准进行粗粒度剪枝，或采用需要每次剪枝时进行特殊训练的剪枝学习方法不同，我们的方法通过神经网络（元网络）自动学习复杂的剪枝规则，无需任何特殊训练即可进行剪枝，具有很强的通用性。具体而言，我们将元学习中的元网络概念引入剪枝。元网络是一种以另一个网络为输入并输出修改后网络的架构。在本文中，我们首先在神经网络与图之间建立双射映射，然后以图神经网络作为我们的元网络。我们训练一个能够自动学习剪枝策略的元网络，可将难以剪枝的网络转换为更易剪枝的网络。一旦元网络训练完成，我们的剪枝仅需通过元网络的前向传播和一些标准微调即可达到最先进水平。代码可在https://github.com/Yewei-Liu/MetaPruning获取。
引用
@article{arxiv.2506.12041,
title = {Meta Pruning via Graph Metanetworks : A Universal Meta Learning Framework for Network Pruning},
author = {Yewei Liu and Xiyuan Wang and Muhan Zhang},
journal= {arXiv preprint arXiv:2506.12041},
year = {2025}
}