CondiQuant：基于条件数的低位量化用于图像超分辨率重建
计算机视觉与模式识别
2025-02-24 v1
摘要
图像超分辨率重建的低位模型量化是一项长期任务，以其显著的压缩与加速能力而著称。然而，将全精度模型压缩到超低位宽（2~4位）时，精度退化不可避免。实验中我们观察到，量化退化主要归因于激活值的量化而非模型权重的量化。在数值分析中，权重的条件数可以衡量输入参数的微小变化引起输出值变化的程度，本质上反映了量化误差。因此，我们提出了CondiQuant，一种基于条件数的低位训练后量化方法，用于图像超分辨率重建。具体而言，我们将量化误差表述为权重度量的条件数。通过解耦表示能力与量化敏感度，我们设计了一种高效的近端梯度下降算法来迭代最小化条件数并保持输出不变。通过全面的实验，我们证明CondiQuant在精度上超越了现有的最先进的训练后量化方法，且无计算开销，并在模型参数上获得了理论上最优的压缩比。我们的代码和模型已发布于 https://github.com/Kai-Liu001/CondiQuant。
引用
@article{arxiv.2502.15478,
title = {CondiQuant: Condition Number Based Low-Bit Quantization for Image Super-Resolution},
author = {Kai Liu and Dehui Wang and Zhiteng Li and Zheng Chen and Yong Guo and Wenbo Li and Linghe Kong and Yulun Zhang},
journal= {arXiv preprint arXiv:2502.15478},
year = {2025}
}
备注
10 pages, 5 figures. Code and models are released at https://github.com/Kai-Liu001/CondiQuant