COLT：用于加速卷积神经网络剪枝的循环重叠彩票票
计算机视觉与模式识别
2025-01-27 v2
摘要
剪枝是指从神经网络中剔除平凡权重。过参数化模型在剪枝后产生的子网络通常被称为彩票票。本研究旨在从一组彩票票中生成能够达到与原始未剪枝网络相似精度的中奖彩票票。我们通过数据划分和从零开始循环重训练剪枝网络，引入了一种称为循环重叠彩票票（COLT）的新型中奖票。我们应用一种循环剪枝算法，仅保留在不同数据段上训练的不同剪枝模型的重叠权重。我们的结果表明，COLT在保持高稀疏度的同时能够达到（未剪枝模型所获得的）相似精度。我们展示了COLT的精度与彩票票假设（LTH）的中奖票相当，且有时更优。此外，COLT可使用比流行的迭代幅值剪枝（IMP）方法生成的票更少的迭代次数来生成。另外，我们还注意到在大型数据集上生成的COLT可迁移到小型数据集而不损害性能，展示了其泛化能力。我们在Cifar-10、Cifar-100和TinyImageNet数据集上进行了所有实验，并报告了优于最先进方法的性能。
引用
@article{arxiv.2212.12770,
title = {COLT: Cyclic Overlapping Lottery Tickets for Faster Pruning of Convolutional Neural Networks},
author = {Md. Ismail Hossain and Mohammed Rakib and M. M. Lutfe Elahi and Nabeel Mohammed and Shafin Rahman},
journal= {arXiv preprint arXiv:2212.12770},
year = {2025}
}