基于相对熵核心集选择与级联层校正提升边缘设备上量化感知训练性能
机器学习
2025-07-25 v1 计算机视觉与模式识别
摘要
随着移动和边缘计算的发展，针对边缘设备上低比特量化模型的需求日益增加，以实现高效部署。为了提升性能，通常需要使用边缘数据重新训练量化模型。然而，由于隐私 concerns，某些敏感数据只能在边缘设备上处理。因此，在边缘设备上采用量化感知训练 (QAT) 成为有效解决方案。然而，传统QAT依赖完整数据集进行训练，计算成本巨大。核心集选择技术可通过在最具代表性子集上进行训练来缓解此问题。然而，现有方法在使用小规模数据集（例如仅使用10%的数据）时难以消除模型中的量化误差，导致性能显著下降。为解决这些问题，我们提出了QuaRC—a QAT框架在边缘设备上使用核心集，包括两个主要阶段：在核心集选择阶段，QuaRC引入“相对熵得分”来识别最能有效捕获模型量化误差的子集。在训练阶段，QuaRC采用级联层校正策略，将量化模型的中间层输出与全精度模型的中间层输出对齐，从而有效减少中间层的量化误差。实验结果表明，我们的方法有效。例如，在将ResNet-18量化为2位并使用1%数据子集时，QuaRC在ImageNet-1K数据集上相对于最先进技术实现了5.72%的Top-1准确率提升。
引用
@article{arxiv.2507.17768,
title = {Enhancing Quantization-Aware Training on Edge Devices via Relative Entropy Coreset Selection and Cascaded Layer Correction},
author = {Yujia Tong and Jingling Yuan and Chuang Hu},
journal= {arXiv preprint arXiv:2507.17768},
year = {2025}
}