冲刺精度：小型量化模型蒸馏与可学习正则化
计算机视觉与模式识别
2025-09-26 v1
摘要
量化感知训练（Quantization-aware training, QAT）结合知识蒸馏（knowledge distillation, KD）是压缩人工智能（AI）模型以适配资源受限硬件部署的有前景策略。然而，现有QAT-KD方法常在平衡任务特定（task-specific, TS）损失与蒸馏损失方面困难，尤其在低位量化情况下，由于梯度大小差异导致冲突。我们提出“正则化游戏”（Game of Regularizer, GoR），一种 novel 可学习正则化方法，通过仅两个可训练参数实现对TS和KD目标的自适应动态权重平衡。GoR减少监督信号之间的冲突，提高收敛性，提升小型量化模型（small quantized models, SQMs）的性能。在图像分类、目标检测（object detection, OD）和大语言模型（large language model, LLM）压缩任务上，GoR持续优于领先的QAT-KD方法。在低功耗边缘设备上，其可实现更快的推理速度，同时保持全精度准确率。我们还引入QAT-EKD-GoR，一种使用多个异构教师模型的集成蒸馏框架。在最优条件下，所提出的EKD-GoR可超越全精度模型，为实际部署提供稳健解决方案。
引用
@article{arxiv.2509.20854,
title = {Punching Above Precision: Small Quantized Model Distillation with Learnable Regularizer},
author = {Abdur Rehman and S M A Sharif and Md Abdur Rahaman and Mohamed Jismy Aashik Rasool and Seongwan Kim and Jaeho Lee},
journal= {arXiv preprint arXiv:2509.20854},
year = {2025}
}