面向硬件友好型训练后量化的数据生成
机器学习
2025-02-06 v2
摘要
使用合成数据的零样本量化(ZSQ)是在隐私和安全约束下进行训练后量化(PTQ)的关键方法。然而，现有的数据生成方法通常难以有效地生成适用于硬件友好型量化(即所有模型层都被量化)的数据。我们分析了基于批归一化(BN)匹配的现有数据生成方法，并识别出合成数据与真实数据之间的几个差距：1) 当前的生成算法不能同时优化整个合成数据集；2) 训练中应用的数据增强常常被忽略；3) 由于最终模型层中缺少BN，导致这些层出现分布偏移。这些差距对ZSQ性能产生了负面影响，尤其是在硬件友好型量化场景中。在这项工作中，我们提出了面向硬件友好型量化的数据生成(DGH)，这是一种解决这些差距的新方法。DGH联合优化所有生成的图像，无论图像集大小或GPU内存限制如何。为了解决数据增强不匹配问题，DGH包含一个预处理阶段，该阶段模拟增强过程并通过引入自然图像先验来提升图像质量。最后，我们提出了一种新的分布拉伸损失，用于对齐真实数据和合成数据的特征图分布的支撑集。该损失应用于模型的输出，并可适应各种任务。DGH在多个任务上展示了量化性能的显著提升，在分类和目标检测的硬件友好型ZSQ中实现了高达30%的准确率提升，其性能通常与使用真实数据相当。
引用
@article{arxiv.2410.22110,
title = {Data Generation for Hardware-Friendly Post-Training Quantization},
author = {Lior Dikstein and Ariel Lapid and Arnon Netzer and Hai Victor Habi},
journal= {arXiv preprint arXiv:2410.22110},
year = {2025}
}