面向量化神经网络的测试时模型自适应
计算机视觉与模式识别
2025-08-05 v1
摘要
在部署前量化深度模型是一种广泛采用的技术，用于加速各种实时应用（如自动驾驶）的推理。然而，量化模型在具有潜在域偏移的动态环境中常常遭受严重的性能下降，并且与它们的全精度对应物相比，这种下降更为显著，正如我们的理论和实证说明所示。为了解决域偏移问题，测试时自适应通过使模型能够从测试数据中自适应学习，已成为一种有效的解决方案。不幸的是，现有的测试时自适应方法对于量化模型通常不切实际，因为它们通常依赖于梯度反向传播——由于梯度消失以及内存和延迟限制，量化模型不支持此操作。在本文中，我们专注于量化模型的测试时自适应，以高效地提高其鲁棒性和泛化能力。我们提出了一个连续零阶自适应框架，该框架仅使用两次前向传播即可实现高效的模型自适应，消除了现有方法的计算负担。此外，我们提出了一种域知识管理方案，以可忽略的内存消耗存储和重用不同的域知识，减少了不同域知识的干扰，并促进了长期自适应过程中的知识积累。在三种经典架构（包括基于量化Transformer和CNN的模型）上的实验结果表明了我们的方法在量化模型自适应方面的优越性。在量化W6A6 ViT-B模型上，我们的ZOA在ImageNet-C数据集上相比最先进的FOA实现了5.0%的提升。源代码可在https://github.com/DengZeshuai/ZOA获取。
引用
@article{arxiv.2508.02180,
title = {Test-Time Model Adaptation for Quantized Neural Networks},
author = {Zeshuai Deng and Guohao Chen and Shuaicheng Niu and Hui Luo and Shuhai Zhang and Yifan Yang and Renjie Chen and Wei Luo and Mingkui Tan},
journal= {arXiv preprint arXiv:2508.02180},
year = {2025}
}