IntraQ：利用类内异质性学习合成图像以实现零样本网络量化
计算机视觉与模式识别
2022-03-11 v5
摘要
学习合成数据已成为零样本量化（ZSQ）中一个有前景的方向，其无需访问任何真实数据即可用低比特整数表示神经网络。在本文中，我们观察到真实数据中类内异质性的有趣现象，并表明现有方法未能在其合成图像中保留该性质，这导致性能提升有限。为解决此问题，我们提出一种称为IntraQ的新型零样本量化方法。首先，我们提出局部目标增强，将目标物体定位在合成图像的不同尺度与位置。其次，我们引入边际距离约束以形成分布在粗略区域内的类相关特征。最后，我们设计一种软起始损失，注入软先验标签以防止合成图像过拟合到固定物体。我们的IntraQ被证明能很好地保留合成图像中的类内异质性，并且也被观察到取得了最先进（state-of-the-art）性能。例如，与先进的ZSQ相比，当MobileNetV1的所有层量化为4-bit时，我们的IntraQ在ImageNet上获得了9.17%的top-1准确率提升。代码见https://github.com/zysxmu/IntraQ。
引用
@article{arxiv.2111.09136,
title = {IntraQ: Learning Synthetic Images with Intra-Class Heterogeneity for Zero-Shot Network Quantization},
author = {Yunshan Zhong and Mingbao Lin and Gongrui Nan and Jianzhuang Liu and Baochang Zhang and Yonghong Tian and Rongrong Ji},
journal= {arXiv preprint arXiv:2111.09136},
year = {2022}
}
备注
CVPR2022