基于自适应核心集选择的高效鲁棒量化感知训练
机器学习
2024-08-21 v3 人工智能
计算机视觉与模式识别
摘要
量化感知训练（QAT）是一种典型的模型压缩方法，用于降低权重与激活中的冗余。然而，多数现有 QAT 方法需在全部数据集上端到端训练，训练时间长且能耗高。此外，训练数据中的潜在标签噪声削弱了 QAT 的鲁棒性。我们基于量化权重的损失与梯度分析提出两个指标：误差向量分数与不一致分数，以量化训练中各样本的重要性。受这两指标引导，我们提出量化感知自适应核心集选择（ACS）方法，为当前训练轮次筛选数据。我们在多种网络（ResNet-18、MobileNetV2、RetinaNet）、数据集（CIFAR-10、CIFAR-100、ImageNet-1K、COCO）及不同量化设置下评估本方法。具体而言，我们的方法仅用 10% 子集即在 ImageNet-1K 数据集上使 4-bit 量化 ResNet-18 达到 68.39% 准确率，较基线绝对提升 4.24%。我们的方法还可通过移除训练集中的噪声样本提升 QAT 鲁棒性。
引用
@article{arxiv.2306.07215,
title = {Efficient and Robust Quantization-aware Training via Adaptive Coreset Selection},
author = {Xijie Huang and Zechun Liu and Shih-Yang Liu and Kwang-Ting Cheng},
journal= {arXiv preprint arXiv:2306.07215},
year = {2024}
}
备注
Accepted by TMLR, Code: https://github.com/HuangOwen/QAT-ACS