GenQ：利用生成式合成数据在低数据场景下进行量化
计算机视觉与模式识别
2024-09-18 v3
摘要
在深度神经网络部署领域，低比特量化为提升计算效率提供了一条极具前景的途径。然而，该方法通常依赖于训练数据的可用性以缓解量化误差，而当由于隐私或版权问题导致数据稀缺或受限时，这构成了一个重大挑战。针对此问题，我们提出了 GenQ，一种采用先进生成式 AI 模型生成逼真、高分辨率合成数据的新方法，克服了传统方法难以在 ImageNet 等大规模数据集中精确模拟复杂物体的局限性。我们的方法以两种鲁棒的过滤机制为基础，旨在确保合成数据与真实训练数据的内在特征紧密对齐。在数据可用性有限的情况下，利用真实数据引导合成数据生成过程，通过反转可学习 token 嵌入来增强保真度。通过严格的实验，GenQ 在无数据和少数据量化中确立了新的基准，在准确率和效率上均显著优于现有方法，从而为低数据场景下的量化设定了新标准。代码已发布于 \url{https://github.com/Intelligent-Computing-Lab-Yale/GenQ}。
引用
@article{arxiv.2312.05272,
title = {GenQ: Quantization in Low Data Regimes with Generative Synthetic Data},
author = {Yuhang Li and Youngeun Kim and Donghyun Lee and Souvik Kundu and Priyadarshini Panda},
journal= {arXiv preprint arXiv:2312.05272},
year = {2024}
}
备注
Accepted to ECCV 2024