面向无数据量化的特征分布对齐与多样性增强
摘要
为获得更低的深度神经网络推理延迟与更少的内存占用，模型量化已通过把浮点数转换为低精度整数而在深度模型部署中被广泛采用。然而，以往方法（如量化感知训练与训练后量化）需要原始数据以对量化模型进行微调或校准，这使得它们在因隐私或安全原因无法获取原始数据的情况下不再适用。这催生了借助合成数据生成的无数据量化方法。尽管当前无数据量化方法在将模型量化为更低比特时仍面临严重的性能退化，其成因在于语义特征的类间可分离性较低。为此，我们提出一种新颖且高效的无数据量化方法 ClusterQ，其利用特征分布对齐来生成合成数据。为获得较高的语义特征类间可分离性，我们对特征分布统计量进行聚类与对齐以模仿真实数据的分布，从而缓解性能退化。此外，我们引入多样性增强以解决类内模式崩塌问题。我们还采用指数移动平均来更新各聚类质心，以进一步优化特征分布。基于不同深度模型（如 ResNet-18 与 MobileNet-V2）在 ImageNet 数据集上的大量实验表明，我们所提的 ClusterQ 模型取得了最先进（SOTA）性能。
引用
@article{arxiv.2205.00179,
title = {Towards Feature Distribution Alignment and Diversity Enhancement for Data-Free Quantization},
author = {Yangcheng Gao and Zhao Zhang and Richang Hong and Haijun Zhang and Jicong Fan and Shuicheng Yan},
journal= {arXiv preprint arXiv:2205.00179},
year = {2022}
}
备注
Please cite this work as: Yangcheng Gao, Zhao Zhang, Richang Hong, Haijun Zhang, Jicong Fan and Shuicheng Yan, "Towards Feature Distribution Alignment and Diversity Enhancement for Data-Free Quantization," In: Proceedings of the 22nd IEEE International Conference on Data Mining (ICDM), Orlando, FL, USA, pp.1-10, Aug 2022