ACQ：通过注意力校正改进生成式无数据量化
计算机视觉与模式识别
2023-08-01 v2 人工智能
摘要
无数据量化旨在不访问任何真实样本的情况下实现模型量化。在涉及数据隐私的面向应用情境中其具有重要意义。通过生成器将噪声向量转换为合成样本是一种流行的无数据量化方法，称为生成式无数据量化。然而，合成样本与真实样本之间存在注意力差异。这一点常被忽视并限制了量化性能。首先，由于同类合成样本易具有同质化注意力，量化网络只能学到有限的注意力模式。其次，eval 模式与 training 模式下的合成样本表现出不同注意力，导致批归一化统计量匹配趋于不准确。本文提出 ACQ 以修正合成样本的注意力。针对类内注意力同质化问题，建立了注意力中心位置条件生成器。在注意力中心匹配损失约束下，注意力中心位置作为生成器条件输入，引导合成样本获得多样化注意力。此外，我们设计同条件下成对合成样本的对抗损失，防止生成器对条件过度关注而导致模式坍塌。为提升不同网络模式下合成样本的注意力相似性，引入一致性惩罚以保证 BN 统计量匹配准确。实验结果表明，ACQ 有效改善了合成样本的注意力问题。在各种训练设置下，ACQ 均取得最佳量化性能。对于 Resnet18 与 Resnet50 的 4-bit 量化，ACQ 分别达到 67.55% 与 72.23% 准确率。
引用
@article{arxiv.2301.07266,
title = {ACQ: Improving Generative Data-free Quantization Via Attention Correction},
author = {Jixing Li and Xiaozhou Guo and Benzhe Dai and Guoliang Gong and Min Jin and Gang Chen and Wenyu Mao and Huaxiang Lu},
journal= {arXiv preprint arXiv:2301.07266},
year = {2023}
}