CrAM：一种压缩感知优化器
机器学习
2023-05-05 v4
摘要
深度神经网络（DNNs）在投入实际部署前，往往需要通过剪枝和/或量化进行压缩。本文提出一种新颖的压缩感知优化器 CrAM，它以一种有原则的方式修改优化步骤，以产生在剪枝等压缩操作下局部损失行为稳定的模型。因此，通过 CrAM 训练的稠密模型应在训练后能够以单步方式压缩，且无明显精度损失。在标准基准（如用于 ImageNet 分类的残差网络与用于语言建模的 BERT 模型）上的实验结果表明，CrAM 产生的稠密模型比基于标准 SGD/Adam 的基线更精确，且在权重剪枝下稳定：具体而言，我们可以一次性将模型剪枝至 70-80% 稀疏度且几乎无精度损失，剪枝至 90% 时有合理（~1%）的精度损失，这与渐进式压缩方法相当。此外，CrAM 能产生在迁移学习中表现良好的稀疏模型，并且也适用于 GPU 硬件支持的半结构化 2:4 剪枝模式。用于复现结果的代码可在 https://github.com/IST-DASLab/CrAM 获取。
引用
@article{arxiv.2207.14200,
title = {CrAM: A Compression-Aware Minimizer},
author = {Alexandra Peste and Adrian Vladu and Eldar Kurtic and Christoph H. Lampert and Dan Alistarh},
journal= {arXiv preprint arXiv:2207.14200},
year = {2023}
}
备注
Accepted to ICLR 2023