TTAQ: 面向连续域适应的稳定后训练量化
机器学习
2024-12-16 v1
摘要
后训练量化（PTQ）通过在小型校准集上将全精度模型量化为低位表示来降低硬件成本，无需重新训练。尽管近期努力取得了显著进展，但传统 PTQ 方法在面临动态且不断变化的现实场景时往往会失败，这些场景涉及不可预测的数据流和持续的域迁移，给带来了更大的挑战。本文提出了一种用于测试时适应（TTA）的 novel and stable 量化流程，称为 TTAQ，以解决传统 PTQ 在动态演化测试域中性能下降的问题。为解决量化器中的域迁移问题，TTAQ 提出了扰动误差缓解（PEM）和扰动一致性重构（PCR）。具体而言，PEM 分析了误差传播，设计了一种权重正则化方案来缓解输入扰动的影响；另一方面，PCR 引入一致性学习，以确保量化模型对相同样本提供稳定的预测。此外，我们引入了自适应平衡损失（ABL），通过利用类别的频率和复杂度来调整 logits，从而有效地解决在优化过程中由不可预测的数据流导致的类别不平衡问题。在多个数据集上进行了大量实验，证明 TTAQ 可以超过现有基线方法，鼓舞人心地提高在持续变化的测试域中低位 PTQ 模型的准确率。例如，TTAQ 在 ImageNet-C 数据集上降低了 2 位模型的平均误差惊人的 10.1%。
引用
@article{arxiv.2412.09899,
title = {TTAQ: Towards Stable Post-training Quantization in Continuous Domain Adaptation},
author = {Junrui Xiao and Zhikai Li and Lianwei Yang and Yiduo Mei and Qingyi Gu},
journal= {arXiv preprint arXiv:2412.09899},
year = {2024}
}