分布内一致性正则化提升量化感知训练的泛化能力
计算机视觉与模式识别
2025-01-14 v2
摘要
尽管现有的量化感知训练（QAT）方法严重依赖知识蒸馏来保证性能，但QAT仍存在严重的性能下降问题。实验表明，普通量化对来自输入和权重的扰动十分敏感。因此，我们假设QAT的泛化能力主要源于其固有的不稳定性（训练阶段）和有限的泛化能力（测试阶段）。在本文中，我们利用一致性正则化（CR）从新视角解决这两个问题，以提升QAT的泛化能力。实验结果和理论分析验证了CR能够为不同的网络架构和多种QAT方法带来良好的泛化能力。大量实验表明，我们的方法显著优于当前最先进的QAT方法，甚至优于FP对应模型。在CIFAR-10上，与使用ResNet18的基线方法相比，所提方法提升了3.79%；与使用轻量级模型MobileNet的基线方法相比，提升了3.84%。
引用
@article{arxiv.2402.13497,
title = {In-Distribution Consistency Regularization Improves the Generalization of Quantization-Aware Training},
author = {Junbiao Pang and Tianyang Cai and Baochang Zhang and Jiaqi Wu},
journal= {arXiv preprint arXiv:2402.13497},
year = {2025}
}
备注
10 pages, 8 figures, 10 tables