REPrune：通过核代表选择进行通道剪枝
计算机视觉与模式识别
2024-03-11 v3 人工智能
摘要
通道剪枝被广泛接受用于加速现代卷积神经网络 (CNNs)。由此产生的剪枝模型受益于其在通用软件和硬件资源上的即时部署。然而，其较大的剪枝粒度，特别是在卷积滤波器单元上，往往由于决定如何在 CNNs 中引入稀疏性及其位置的灵活性不足而导致不必要的精度下降。在本文中，我们提出了 REPrune，一种新颖的通道剪枝技术，它模拟核剪枝，充分利用更细但结构化的粒度。REPrune 使用凝聚聚类识别每个通道内的相似核。然后，它选择那些在优化最大簇覆盖问题的同时最大化核代表融入的滤波器。通过与同步训练 - 剪枝范式集成，REPrune 促进了在整个 CNN 训练过程中的高效渐进式剪枝，避免了传统的训练 - 剪枝 - 微调序列。实验结果表明，REPrune 在计算机视觉任务中的表现优于现有方法，有效地实现了加速比与性能保持之间的平衡。
引用
@article{arxiv.2402.17862,
title = {REPrune: Channel Pruning via Kernel Representative Selection},
author = {Mincheol Park and Dongjin Kim and Cheonjun Park and Yuna Park and Gyeong Eun Gong and Won Woo Ro and Suhyun Kim},
journal= {arXiv preprint arXiv:2402.17862},
year = {2024}
}
备注
Published at AAAI2024