快速且可控的后训练稀疏性：基于全局约束在几分钟内学习最优稀疏分配
计算机视觉与模式识别
2024-05-10 v1
摘要
神经网络稀疏性因其与生物机制的相似性及高能效而引起了广泛的研究兴趣。然而，现有方法依赖于长时间的训练或微调，这阻碍了其大规模应用。近期，一些专注于后训练稀疏性 (PTS) 的工作相继出现。它们摆脱了高昂的训练成本，但由于忽略了各层合理的稀疏率，通常会导致明显的精度下降。以往寻找稀疏率的方法主要聚焦于训练感知场景，而在数据有限且训练成本极低的 PTS 设置下，这些方法通常无法稳定收敛。在本文中，我们提出了一种快速且可控的后训练稀疏性 (FCPTS) 框架。通过引入可微桥接函数和可控优化目标，我们的方法能够在几分钟内快速准确地学习稀疏分配，并确保收敛至预定的全局稀疏率。借助这些技术，我们以大幅优势超越了现有最先进方法，例如，在 80% 的稀疏率下，ResNet-50 在 ImageNet 上的性能提升了超过 30%。我们的即插即用代码和补充材料已在 https://github.com/ModelTC/FCPTS 开源。
引用
@article{arxiv.2405.05808,
title = {Fast and Controllable Post-training Sparsity: Learning Optimal Sparsity Allocation with Global Constraint in Minutes},
author = {Ruihao Gong and Yang Yong and Zining Wang and Jinyang Guo and Xiuying Wei and Yuqing Ma and Xianglong Liu},
journal= {arXiv preprint arXiv:2405.05808},
year = {2024}
}