CoDeQ：面向高稀疏与低精度网络的基于死区量化器的端到端联合模型压缩
机器学习
2025-12-16 v1 机器学习
摘要
尽管联合剪枝--量化在理论上优于顺序应用，但当前的联合方法依赖训练循环外的辅助过程来寻找压缩参数。这种依赖增加了工程复杂性和超参数调节，同时缺乏直接的数据驱动梯度信号，可能导致次优的压缩。本文提出 CoDeQ，一种简单、完全可微的联合剪枝--量化方法。该方法基于一个关键观察：标量量化器的死区等价于幅度剪枝，可用于在量化算子内部直接诱导稀疏性。具体而言，我们对死区宽度进行参数化，并通过反向传播与量化参数一同学习。该设计提供了对稀疏性的显式控制，由单一全局超参数进行正则化，同时将稀疏性选择与位宽选择解耦。由此得到的基于死区量化器的压缩方法支持固定精度和混合精度量化（由可选的第二个超参数控制）。它在单次端到端优化中同时确定稀疏模式和量化参数。因此，CoDeQ 不需要任何辅助过程，使该方法与架构无关且易于实现。在 ImageNet 数据集上使用 ResNet-18，CoDeQ 将比特运算量减少至约 5%，同时在固定精度和混合精度机制下均保持接近全精度的准确率。
引用
@article{arxiv.2512.12981,
title = {CoDeQ: End-to-End Joint Model Compression with Dead-Zone Quantizer for High-Sparsity and Low-Precision Networks},
author = {Jonathan Wenshøj and Tong Chen and Bob Pepin and Raghavendra Selvan},
journal= {arXiv preprint arXiv:2512.12981},
year = {2025}
}
备注
Source code at https://github.com/saintslab/CoDeQ