量化遇上分布外泛化：从平坦性视角实现可泛化的量化感知训练
计算机视觉与模式识别
2025-09-09 v1
摘要
当前的量化感知训练（QAT）方法主要侧重于提升量化模型在分布内（I.D）数据上的性能，而忽视了在分布外（OOD）数据上可能出现的性能下降。本文首先通过严格的实验证实了这一问题，表明 QAT 会导致显著的 OOD 泛化性能下降。进一步地，我们发现损失景观平坦性带来优越 OOD 泛化的观点与 QAT 导致尖锐损失景观的现象之间的矛盾，可能是造成上述问题的原因。因此，我们提出了一种面向平坦性的 QAT 方法，即 FQAT，以实现可泛化的 QAT。具体来说，i) FQAT 引入了一种逐层冻结机制，以缓解双重优化目标（即普通 QAT 与平坦性）之间的梯度冲突问题。ii) FQAT 提出了一种基于无序度的自适应冻结算法，动态决定每个训练步骤中冻结哪些层，有效应对了层间干扰带来的挑战。我们设计了一个梯度无序度度量指标，以帮助算法在训练过程中识别不稳定的层。在具有影响力的 OOD 基准上的大量实验表明，在 I.D 和 OOD 图像分类任务下，我们的方法均优于最先进的基线方法。
引用
@article{arxiv.2509.00859,
title = {Quantization Meets OOD: Generalizable Quantization-aware Training from a Flatness Perspective},
author = {Jiacheng Jiang and Yuan Meng and Chen Tang and Han Yu and Qun Li and Zhi Wang and Wenwu Zhu},
journal= {arXiv preprint arXiv:2509.00859},
year = {2025}
}