面向零样本量化的锋利度感知数据生成
机器学习
2025-10-09 v1 计算机视觉与模式识别
摘要
零样本量化旨在从预训练的全精度模型中学习量化模型，而无需访问原始真实训练数据。目前零信放量化方法的通用思路是生成合成数据以用于量化全精度模型。虽然已知深度神经网络在低锋利度下具有更好的泛化能力，但目前的零信放量化工作均未将量化模型的锋利度作为生成训练数据 criteria 的考量。本文引入一种新方法，融入量化模型锋利度考量，以提升泛化能力。具体而言，我们首先在特定假设下，证明通过最大化在合成数据和真实验证数据上计算的重构损失梯度之间的匹配，可实现锋利度最小化。随后，我们通过估计每个生成样本与其邻居之间的梯度匹配来规避缺乏真实验证集的困境。在 CIFAR-100 和 ImageNet 数据集上的实验评估表明，所提方法在低位量化设置下优于当前最先进技术。
引用
@article{arxiv.2510.07018,
title = {Sharpness-Aware Data Generation for Zero-shot Quantization},
author = {Dung Hoang-Anh and Cuong Pham Trung Le and Jianfei Cai and Thanh-Toan Do},
journal= {arXiv preprint arXiv:2510.07018},
year = {2025}
}