用于精确无数据量化的多样化样本生成
计算机视觉与模式识别
2021-12-03 v3
摘要
量化已成为压缩和加速神经网络最普遍的方法之一。近年来，无数据量化作为一种实用且有前景的方案被广泛研究。它根据 FP32 模型的批归一化（BN）统计量合成数据以校准量化模型，并显著缓解了传统量化方法对真实训练数据的严重依赖。然而，我们发现，在实践中，受 BN 统计量 identically 约束的合成数据在分布层面和样本层面均存在严重的同质化，并进一步导致量化模型性能显著下降。我们提出多样化样本生成（DSG）方案，以减轻同质化带来的不利影响。具体而言，我们放宽 BN 层中特征统计的对齐以在分布层面放松约束，并设计逐层增强以针对不同数据样本强化特定层。我们的 DSG 方案具有通用性，甚至可应用于 AdaRound 等最先进的训练后量化方法。我们在大规模图像分类任务上评估 DSG 方案，并在各种网络架构和量化方法上持续获得显著提升，尤其在量化到更低比特时（例如，在 W4A4 上提升高达 22%）。此外，受益于增强的多样性，由合成数据校准的模型表现接近由真实数据校准的模型，并在 W4A4 上甚至优于它们。
引用
@article{arxiv.2103.01049,
title = {Diversifying Sample Generation for Accurate Data-Free Quantization},
author = {Xiangguo Zhang and Haotong Qin and Yifu Ding and Ruihao Gong and Qinghua Yan and Renshuai Tao and Yuhang Li and Fengwei Yu and Xianglong Liu},
journal= {arXiv preprint arXiv:2103.01049},
year = {2021}
}