STAG：面向在线自适应的梯度结构测试时对齐
计算机视觉与模式识别
2026-02-09 v2 机器学习
摘要
测试时自适应（TTA）仅使用无标签的测试流来适配预训练模型，要求在不访问源数据的情况下进行实时推理和更新。我们提出了梯度结构测试时对齐（STAG），这是一种轻量级的即插即用增强器，它利用了一个始终可用的结构信号：分类器的内在几何结构。STAG通过自结构熵从分类器权重中导出类别的结构锚点，并在自适应过程中从前向传播量解析地计算预测类别的熵梯度，通过余弦相似度损失将其与对应的锚点对齐。这种闭式设计带来了近乎为零的内存和延迟开销，并且除了底层基线方法外，不需要额外的反向传播。在损坏图像分类和持续语义分割任务中，STAG为基于CNN和Transformer架构的强TTA基线提供了广泛适用的性能增益，无论底层归一化方案如何，在具有挑战性的在线场景下（如不平衡标签偏移、单样本自适应、混合损坏流和长时域持续TTA）增益尤为显著。
引用
@article{arxiv.2402.09004,
title = {STAG: Structural Test-time Alignment of Gradients for Online Adaptation},
author = {Juhyeon Shin and Yujin Oh and Jonghyun Lee and Saehyung Lee and Minjun Park and Dongjun Lee and Uiwon Hwang and Sungroh Yoon},
journal= {arXiv preprint arXiv:2402.09004},
year = {2026}
}