海报：自监督量化感知知识蒸馏
计算机视觉与模式识别
2023-09-26 v1 人工智能
摘要
量化感知训练（QAT）从预训练的全精度模型出发，在重新训练过程中执行量化。然而，现有的QAT工作需要使用标签进行监督，并且由于精度降低而遭受准确率损失。为解决这些局限，本文提出一种新颖的自监督量化感知知识蒸馏框架（SQAKD）。SQAKD首先统一各种量化函数的前向与反向动态，然后以自监督方式将QAT重新表述为一个同时最小化KL损失与离散化误差的协同优化问题。评估表明，SQAKD显著提升了多种最先进QAT工作的性能。SQAKD建立了更强的基线，且不需要大量带标签的训练数据，有可能使最先进的QAT研究更易获取。
引用
@article{arxiv.2309.13220,
title = {Poster: Self-Supervised Quantization-Aware Knowledge Distillation},
author = {Kaiqi Zhao and Ming Zhao},
journal= {arXiv preprint arXiv:2309.13220},
year = {2023}
}