CAP：面向高精度稀疏视觉模型的相关性感知剪枝
计算机视觉与模式识别
2023-06-01 v2 机器学习
摘要
受架构设计与训练流程显著改进的推动，计算机视觉近期在 ImageNet 等经典基准上的精度取得了巨大进展。这些高精度模型难以部署，因为使用剪枝等标准技术似乎更难压缩。我们通过提出相关性感知剪枝器（CAP）来解决该问题，这是一种新的非结构化剪枝框架，显著推进了最先进架构的可压缩极限。我们的方法基于两项技术进展：一种新颖且理论严谨的剪枝器，能够在剪枝过程中准确高效地处理复杂权重相关性；以及一种用于压缩后恢复的高效微调流程。我们在 Vision Transformers（ViT）、现代 CNN 与 ViT-CNN 混合体等多种现代视觉模型上通过大量实验验证了我们的方法，首次表明这些模型可被剪枝至高水平稀疏度（例如 %）且精度影响很小（相对下降 %）。我们的方法还与结构化剪枝和量化兼容，并可实现 1.5 至 2.4 倍的实用加速而无精度损失。为进一步展示 CAP 的精度与可扩展性，我们利用它首次表明，通过自监督技术训练的极高精度大型视觉模型也可被剪枝至中等稀疏度，且精度损失可忽略不计。
引用
@article{arxiv.2210.09223,
title = {CAP: Correlation-Aware Pruning for Highly-Accurate Sparse Vision Models},
author = {Denis Kuznedelev and Eldar Kurtic and Elias Frantar and Dan Alistarh},
journal= {arXiv preprint arXiv:2210.09223},
year = {2023}
}