用于训练后量化的细粒度数据分布对齐
计算机视觉与模式识别
2022-07-06 v3
摘要
虽然训练后量化主要因无需访问原始完整训练数据集而受到欢迎，但其性能较差也源于图像的稀缺。为了缓解这一限制，在本文中，我们利用由零样本量化引入的合成数据与校准数据集，并提出了一种细粒度数据分布对齐方法以提升训练后量化的性能。该方法基于我们在训练网络的深层中观察到的批归一化统计量的两个重要属性，即类间分离和类内不凝聚。为了保留这种细粒度分布信息：1) 我们计算校准数据集的每类 BNS 作为每个类的 BNS 中心，并提出 BNS 中心化损失，以迫使不同类的合成数据分布接近其各自的中心。2) 我们在中心中加入高斯噪声以模拟不凝聚性，并提出 BNS 扭曲损失，以迫使同一类的合成数据分布接近扭曲后的中心。通过利用这两个细粒度损失，我们的方法在 ImageNet 上展现了 SOTA 性能，特别是当第一层和最后一层都被量化为低比特时。代码位于 \url{https://github.com/zysxmu/FDDA}。
引用
@article{arxiv.2109.04186,
title = {Fine-grained Data Distribution Alignment for Post-Training Quantization},
author = {Yunshan Zhong and Mingbao Lin and Mengzhao Chen and Ke Li and Yunhang Shen and Fei Chao and Yongjian Wu and Rongrong Ji},
journal= {arXiv preprint arXiv:2109.04186},
year = {2022}
}
备注
ECCV2022