UniPTS：面向专业后训练稀疏化的统一框架
计算机视觉与模式识别
2024-05-30 v1 人工智能
摘要
后训练稀疏化 (PTS) 是近期出现的一种以有限数据追求高效网络稀疏化的思路。现有 PTS 方法与通过完整数据集重新训练稀疏网络的传统方法相比，在高稀疏比例下表现显著下降。本文试图通过转置三个深刻影响传统稀疏化性能的关键因素来调和这一差异。我们的工作尤其包括：(1) 基础衰减稀疏目标，以促进从稠密网络到稀疏网络的有效知识迁移；(2) 降低-再生搜索算法，以确定最优稀疏分布，同时规避 PTS 中小校准集的过拟合；(3) 基于前述方面，采取动态稀疏训练，全面优化稀疏结构，确保训练稳定性。我们称之为 UniPTS 的框架经广泛基准测试验证，显著优于现有 PTS 方法。以 ResNet-50 在 ImageNet 上以 90% 稀疏比例剪枝为例，UniPTS 将 POT（近期提出的配方）的性能从 3.9% 提升至 68.6%。我们将发布代码于 https://github.com/xjjxmu/UniPTS。
引用
@article{arxiv.2405.18810,
title = {UniPTS: A Unified Framework for Proficient Post-Training Sparsity},
author = {Jingjing Xie and Yuxin Zhang and Mingbao Lin and Zhihang Lin and Liujuan Cao and Rongrong Ji},
journal= {arXiv preprint arXiv:2405.18810},
year = {2024}
}
备注
Accepted by CVPR2024