重拾残余知识：一种面向低位量化的新范式
摘要
本文探讨了一种针对低位（即 4 位或更低）量化的新范式，不同于现有的 state-of-the-art 方法，将最优量化建模为卷积神经网络 (ConvNets) 中的 architecture search 问题。我们的框架称为 CoRa（Optimal Quantization Residual Convolutional Operator Low-Rank Adaptation），其动机来自两个关键方面。首先，量化残余知识，即浮点权重与量化权重之间的丢失信息，长期以来被研究社区忽略。以极小的额外参数成本重新获取关键残余知识，可以在不训练的情况下逆转性能退化。其次，现有的 state-of-the-art 量化框架在寻找最优量化权重以解决性能退化问题方面取得了进展。然而，权重优化中的庞大搜索空间对大型模型的高效优化构成了挑战。例如，state-of-the-art BRECQ 需要对模型进行 2 万 次迭代进行量化。根本不同于现有方法，CoRa 在与权重空间相比搜索空间小得多个数量级的低秩适配器的 optimal architecture 中，重新获取关键量化残余知识。低秩适配器近似地表示在先前方法中被丢弃的量化残余权重。我们在 ImageNet 上的多个预训练 ConvNets 上评估了该方法。CoRa 在 4 位和 3 位量化下，通过在小型校准数据集（包含 1600 张图片）上使用不足 250 次迭代，实现了与基于 state-of-the-art 量化感知训练和基于 post-training 量化基准相当的性能。因此，CoRa 在低位量化中的优化效率上建立了新的 state-of-the-art。
引用
@article{arxiv.2408.00923,
title = {Reclaiming Residual Knowledge: A Novel Paradigm to Low-Bit Quantization},
author = {Róisín Luo and Alexandru Drimbarean and James McDermott and Colm O'Riordan},
journal= {arXiv preprint arXiv:2408.00923},
year = {2026}
}
备注
Accepted by The 35th British Machine Vision Conference (BMVC 2024)