中文

MetaAug:用于后训练量化的元数据增强

计算机视觉与模式识别 2024-07-30 v2 机器学习

摘要

后训练量化(PTQ)因仅需少量校准数据即可对全精度模型进行量化,而在实际应用中无需大规模训练集的情况下具有更高的实用性而受到广泛关注。然而,这往往会导致对小型校准数据集的过拟合。虽然已提出多种方法来解决此问题,但它们仍仅依赖校准集进行量化,且由于缺乏验证集而无法对量化后的模型进行验证。在本工作中,我们提出一种新颖的基于元学习的方法来提高后训练量化的性能。具体而言,为了缓解过拟合问题,我们不仅使用原始校准集进行训练(如以往的PTQ工作中一样),而且使用两个不同的数据集进行训练和验证。具体地,我们提出一种基于元学习的方法通过双层优化联合优化一个转换网络和一个量化模型。转换网络修改原始校准数据,修改后的数据将用作训练集,以学习量化模型,目标是该量化模型在原始校准数据上的性能表现良好。在广泛使用的ImageNet数据集上进行大量实验,测试不同的神经网络架构,证明我们的方法在SOTA PTQ方法之上。

关键词

引用

@article{arxiv.2407.14726,
  title  = {MetaAug: Meta-Data Augmentation for Post-Training Quantization},
  author = {Cuong Pham and Hoang Anh Dung and Cuong C. Nguyen and Trung Le and Dinh Phung and Gustavo Carneiro and Thanh-Toan Do},
  journal= {arXiv preprint arXiv:2407.14726},
  year   = {2024}
}

备注

Accepted by ECCV 2024