有损与无损（L$^2$）训练后模型尺寸压缩
计算机视觉与模式识别
2023-08-09 v1 人工智能
摘要
深度神经网络已展现出卓越性能，并广泛应用于各类视觉任务。然而，其庞大的尺寸给传输与存储带来显著不便。许多先前研究探索了模型尺寸压缩。但这些研究常将各种有损与无损压缩方法孤立对待，导致难以高效实现高压缩比。本工作提出一种将有损与无损压缩统一结合的训练后模型尺寸压缩方法。我们首先提出统一的参数化权重变换，确保不同有损压缩方法能以训练后方式联合执行。随后，引入专用的可微分计数器以引导有损压缩的优化，从而抵达更适于后续无损压缩的点。此外，我们的方法可轻松控制期望的全局压缩比，并为不同层分配自适应比例。最终，我们的方法能在短时间内实现稳定的 压缩比且不损失精度，以及 压缩比且仅有微小精度损失。我们的代码见 https://github.com/ModelTC/L2_Compression 。
引用
@article{arxiv.2308.04269,
title = {Lossy and Lossless (L$^2$) Post-training Model Size Compression},
author = {Yumeng Shi and Shihao Bai and Xiuying Wei and Ruihao Gong and Jianlei Yang},
journal= {arXiv preprint arXiv:2308.04269},
year = {2023}
}