无需微调的基于混合精度补偿的数据无关量化方法
机器学习
2025-02-18 v2 计算机视觉与模式识别
摘要
神经网络量化是模型压缩领域中一种极具前景的解决方案，但其所得精度高度依赖于训练/微调过程并需要原始数据。这不仅带来巨大的计算与时间开销，也不利于隐私与敏感信息保护。因此，近期少数工作开始关注数据无关量化。然而，数据无关量化在处理超低精度量化时表现不佳。尽管研究者利用合成数据的生成方法部分解决了该问题，但数据合成需要耗费大量计算与时间。本文提出一种数据无关混合精度补偿（DF-MPC）方法，可在无任何数据及微调过程的情况下恢复超低精度量化模型的性能。通过假设低精度量化层引起的量化误差可通过高精度量化层的重构来恢复，我们从数学上构建了预训练全精度模型与其逐层混合精度量化模型之间的重构损失。基于该构建，我们通过最小化特征图的重构损失从理论上推导出了闭式解。由于 DF-MPC 不需要任何原始/合成数据，它是一种近似全精度模型的高效方法。实验上，与近期无需任何数据与微调过程的方法相比，我们的 DF-MPC 能够在超低精度量化模型上取得更高的精度。
引用
@article{arxiv.2307.00498,
title = {Data-Free Quantization via Mixed-Precision Compensation without Fine-Tuning},
author = {Jun Chen and Shipeng Bai and Tianxin Huang and Mengmeng Wang and Guanzhong Tian and Yong Liu},
journal= {arXiv preprint arXiv:2307.00498},
year = {2025}
}