SynQ：通过合成感知微调实现准确的零样量量化
计算机视觉与模式识别
2026-03-20 v1
摘要
我们如何在没有任何数据的情况下对预训练模型进行准确量化？量化算法广泛用于在资源受限的边缘设备上部署神经网络。零样量化（ZSQ）解决了训练数据因隐私或安全原因不可访问的关键且实际的场景。然而，三个显著挑战阻碍了现有 ZSQ 方法的性能：1) 合成数据集中的噪声，2) 基于 off-target 模式的预测，以及 3) 来自错误硬标签的误导。在本文中，我们提出 SynQ（Synthesis-aware Fine-tuning for Zero-shot Quantization），一个精心设计的 ZSQ 框架以克服现有方法的局限性。SynQ 通过利用低通滤波器最小化生成样本的噪声。然后，SynQ 通过对齐其类别激活图与预训练模型来提高量化模型的准确性。此外，SynQ 通过仅利用困难样本的软标签来缓解来自预训练模型错误的误导。大量实验表明，SynQ 提供了超过现有 ZSQ 方法的国家级准确性。
引用
@article{arxiv.2603.18423,
title = {SynQ: Accurate Zero-shot Quantization by Synthesis-aware Fine-tuning},
author = {Minjun Kim and Jongjin Kim and U Kang},
journal= {arXiv preprint arXiv:2603.18423},
year = {2026}
}
备注
ICLR 2025