LinDeps：一种无需微调的后剪枝方法以保证性能保存地消除层级线性依赖
计算机视觉与模式识别
2025-07-30 v1
摘要
卷积神经网络（CNN）在许多计算机视觉任务中广泛使用，但其日益增长的规模和复杂度为资源受限平台上的高效部署带来了重大挑战。因此，网络剪枝已成为通过删除冗余或不重要参数来减少神经网络规模和计算需求的有效方法。然而，剪枝的根本挑战在于最佳地删除冗余信息而不降低性能。大多数现有剪枝技术忽略了单个层中特征图之间的结构依赖性，导致次优的剪枝决策。本文引入了LinDeps，一种新的后剪枝方法，即可以应用于任何剪枝技术之上的剪枝方法，通过线性依赖分析系统性地识别和删除冗余滤波器。特别地，LinDeps对特征图应用了枢轴QR分解来检测并剪枝线性相关滤波器。然后，一种新颖的信噪恢复机制调整下一层的核，以在不要求微调的情况下保持兼容性和性能。我们在CIFAR-10和ImageNet上使用VGG和ResNet backbone 进行实验，表明LinDeps在保持性能的同时提高了现有剪枝技术的压缩率，达到CNN剪枝的新纪录。我们还在低资源设置中对LinDeps进行了基准测试，其中不允许重新训练，结果显示其在剪枝改进和推理加速方面显著优于最先进的方法。LinDeps因此构成了当前或未来任何剪枝技术的必不可少的附加工具。
引用
@article{arxiv.2507.21573,
title = {LinDeps: A Fine-tuning Free Post-Pruning Method to Remove Layer-Wise Linear Dependencies with Guaranteed Performance Preservation},
author = {Maxim Henry and Adrien Deliège and Anthony Cioppa and Marc Van Droogenbroeck},
journal= {arXiv preprint arXiv:2507.21573},
year = {2025}
}
备注
10 pages, 4 figures, 5 tables, 45 references