基于方差的剪枝：加速和压缩已训练网络
计算机视觉与模式识别
2026-04-02 v2 机器学习
摘要
日益昂贵的训练日益增大的模型（如Vision Transformer）激励了重用广泛已训练的国家领先网络库。然而，这些网络的延迟、高计算成本和内存需求为部署在资源受限硬件上的使用带来了重大挑战。虽然结构化剪枝方法可以降低这些因素，但通常需要高成本的重新训练，最多可达数百个时代，甚至需要从头开始训练以恢复因结构修改而丢失的准确性。维持已训练模型在结构化剪枝后的性能水平并避免大量重新训练仍是一个挑战。为此，我们引入了基于方差的剪枝，这是一种简单且结构化的一种-shot剪枝技术，用于高效压缩网络，几乎无需微调。该方法首先收集激活统计信息，用于选择要剪枝的神经元。同时将均值激活重新集成到模型中，以保留相当高的性能水平。在ImageNet-1k识别任务上，我们展示，在剪枝后的DeiT-Base直接保留了超过70%的原始性能，只需10个时代的微调即可恢复99%的原始准确率，同时将计算量（MACs）降低35%，模型大小降低36%，从而将模型加速1.44倍。代码已公开：https://github.com/boschresearch/variance-based-pruning
引用
@article{arxiv.2507.12988,
title = {Variance-Based Pruning for Accelerating and Compressing Trained Networks},
author = {Uranik Berisha and Jens Mehnert and Alexandru Paul Condurache},
journal= {arXiv preprint arXiv:2507.12988},
year = {2026}
}
备注
Accepted as Oral at ICCV'25 (IEEE/CVF International Conference on Computer Vision)