利用 GAN 生成合成数据进行训练后模型量化
计算机视觉与模式识别
2023-05-11 v1
摘要
量化是一种被广泛采用的深度神经网络技术，用于减少所需的内存和计算资源。然而，大多数模型在量化后需要合适的校准过程以保持其性能，这需要使用来自目标域的数据，例如模型训练和模型验证所用数据集的一部分（即校准数据集）。在本研究中，我们探究使用合成数据替代真实数据用于量化方法的校准。我们提出了一种基于生成对抗网络的数据生成方法，该网络在模型量化步骤之前进行训练。我们将使用 StyleGAN2-ADA 和我们预训练的 DiStyleGAN 生成的数据进行量化的模型性能，与利用真实数据量化以及基于分形图像的另一种数据生成方法进行了比较。总体而言，我们的实验结果表明了在量化过程中利用合成数据进行校准的潜力。在我们的实验中，所选模型的准确率下降百分比小于 0.6%，其中在 MobileNetV2 上取得了最佳性能（0.05%）。代码见：https://github.com/ThanosM97/gsoc2022-openvino
引用
@article{arxiv.2305.06052,
title = {Post-training Model Quantization Using GANs for Synthetic Data Generation},
author = {Athanasios Masouris and Mansi Sharma and Adrian Boguszewski and Alexander Kozlov and Zhuo Wu and Raymond Lo},
journal= {arXiv preprint arXiv:2305.06052},
year = {2023}
}