S2HPruner：软到硬蒸馏弥补剪枝中的离散化差距
计算机视觉与模式识别
2024-10-10 v1
摘要
最近，各向异性掩码剪枝方法通过将连续松弛架构（软网络）作为被剪枝离散架构（硬网络）的代理，以实现更优的子架构搜索。然而，由于离散化过程的不可知影响，硬网络难以获得与软网络等价的表示容量，即离散化差距，这严重损害了剪枝性能。本文首先探讨离散化差距，提出一种名为 S2HPruner 的新型结构化可微掩码剪枝框架，以单阶段方式弥补离散化差距。在训练过程中，S2HPruner 前向传递软网络及其对应的硬网络，然后在软网络的监督下对硬网络进行蒸馏。为优化掩码并防止性能下降，我们提出了一种解耦的双向知识蒸馏。该方法阻止了从硬网络到软网络的权重更新，同时保持与掩码相关的梯度。与现有剪枝方法相比，S2HPruner 在包括 CIFAR-100、Tiny ImageNet 和 ImageNet 在内的多个基准数据集上实现了超越性的剪枝性能，且无需微调。此外，实验探讨和分析解释了 S2HPruner 的有效性。代码将很快公开。
引用
@article{arxiv.2410.07046,
title = {S2HPruner: Soft-to-Hard Distillation Bridges the Discretization Gap in Pruning},
author = {Weihao Lin and Shengji Tang and Chong Yu and Peng Ye and Tao Chen},
journal= {arXiv preprint arXiv:2410.07046},
year = {2024}
}
备注
NeurIPS 2024 accepted