基于单滤波器性能的深度架构剪枝
机器学习
2025-06-13 v2 计算机视觉与模式识别
摘要
剪枝神经网络的参数和结构可减少推理期间的计算复杂度、能耗和延迟。最近提出一种新型深层学习成功的底层机制，基于量化测量每个深层架构中各滤波器性能的方法，并提出了一种新的深层学习工作原理的综合性机制。这种受统计力学启发的视角使我们能够从每个滤波器及其合作行为的微观性能中揭示整个网络的宏观行为。本文展示了这种理解如何为在不影响整体准确率的情况下，使用应用滤波器簇连接（AFCC）实现深度架构卷积层的高速退化。以VGG-11和EfficientNet-B0在CIFAR-100上的架构为例，证明了其高剪枝率优于其他使用相同剪枝幅度的技术。此外，该技术扩展到单节点性能和全连接层的高剪枝，表明可用于显著减少过参数化AI任务的复杂度。
引用
@article{arxiv.2501.12880,
title = {Advanced deep architecture pruning using single filter performance},
author = {Yarden Tzach and Yuval Meir and Ronit D. Gross and Ofek Tevet and Ella Koresh and Ido Kanter},
journal= {arXiv preprint arXiv:2501.12880},
year = {2025}
}
备注
23 pages, 4 figures, A short YouTube Video describing the main results https://www.youtube.com/watch?v=IzfpNPKSFCc