渐进式条件化尺度-位移自注意力 recalibration 用于在线测试时适应
计算机视觉与模式识别
2025-12-16 v1
摘要
在线测试时适应旨在基于推理阶段期间的序列输入样本实时动态调整网络模型。本文发现，当将变换器网络模型应用于新目标域时，其自注意力模块的查询、键和值特征常与源域显著变化，导致变换器模型性能显著下降。为解决此重要问题，我们提出开发一种新方法，通过局部线性变换（由条件化尺度和位移因子参数化）在每个层级逐渐 recalibrate 自注意力。我们将从源域到目标域的在线模型适应视为渐进式域移分离过程。在每个变换器网络层级，我们学习一个域分离网络以提取域移特征，用于通过因子生成网络预测自注意力 recalibration 的尺度和位移参数。这两个轻量级网络在推理期间在线适应。实验结果表明，所提出的渐进式条件化尺度-位移 recalibration (PCSR) 方法可通过在 ImageNet-C 数据集上实现最高达3.9%的分类准确率提升，显著改善在线测试时域适应性能。
引用
@article{arxiv.2512.12673,
title = {Progressive Conditioned Scale-Shift Recalibration of Self-Attention for Online Test-time Adaptation},
author = {Yushun Tang and Ziqiong Liu and Jiyuan Jia and Yi Zhang and Zhihai He},
journal= {arXiv preprint arXiv:2512.12673},
year = {2025}
}