困难样本在零样本量化中至关重要
计算机视觉与模式识别
2023-03-27 v1
摘要
零样本量化（ZSQ）在无法获取训练全精度模型数据的情况下，对压缩和加速深度神经网络颇具前景。在 ZSQ 中，网络量化使用合成样本执行，因此量化模型的性能严重依赖合成样本的质量。然而，我们发现现有 ZSQ 方法构建的合成样本易被模型拟合。相应地，这些方法得到的量化模型在困难样本上性能显著下降。为解决此问题，我们提出困难样本合成与训练（HAST）。具体而言，HAST 在合成样本时更关注困难样本，并在训练量化模型时使合成样本难以拟合。HAST 对齐全精度模型与量化模型提取的特征，以确保两模型提取特征的相似性。大量实验表明，HAST 显著优于现有 ZSQ 方法，取得了与使用真实数据量化的模型相当的性能。
引用
@article{arxiv.2303.13826,
title = {Hard Sample Matters a Lot in Zero-Shot Quantization},
author = {Huantong Li and Xiangmiao Wu and Fanbing Lv and Daihai Liao and Thomas H. Li and Yonggang Zhang and Bo Han and Mingkui Tan},
journal= {arXiv preprint arXiv:2303.13826},
year = {2023}
}
备注
12 pages, CVPR 2023