长程零样本生成式深度网络量化
计算机视觉与模式识别
2022-11-18 v2
摘要
量化用低比特宽度数字近似具有浮点数的深度网络模型，以加速推理并减少计算量。在无原始数据访问的情况下量化模型，零样本量化可通过数据合成拟合真实数据分布来实现。然而，与基于真实数据的训练后量化相比，零样本量化性能较差。我们发现这是因为：1）普通生成器难以获得合成数据的高多样性，因其缺乏将注意力分配到全局特征的长程信息；2）合成图像旨在模拟真实数据的统计特性，导致类内异质性弱且特征丰富度有限。为克服这些问题，我们提出了一种新颖的深度网络量化器，称为长程零样本生成式深度网络量化（LRQ）。在技术层面，我们提出一种长程生成器来学习长程信息而非简单的局部特征。为使合成数据包含更多全局特征，生成器中引入了使用大核卷积的长程注意力。此外，我们还提出了一种对抗边际添加（AMA）模块，以强制特征向量与类中心之间的类内角度扩大。由于 AMA 增加了损失函数的收敛难度，这与原始损失函数的训练目标相反，从而形成对抗过程。此外，为从全精度网络迁移知识，我们还利用了解耦知识蒸馏。大量实验表明，LRQ 取得了优于其他竞争方法的性能。
引用
@article{arxiv.2211.06816,
title = {Long-Range Zero-Shot Generative Deep Network Quantization},
author = {Yan Luo and Yangcheng Gao and Zhao Zhang and Haijun Zhang and Mingliang Xu and Meng Wang},
journal= {arXiv preprint arXiv:2211.06816},
year = {2022}
}