面向完全测试时适应的域条件化 Transformer

完全测试时适应旨在基于推理阶段对输入样本的序列分析在线适应网络模型。我们观察到，当将 transformer 网络模型应用于新域时，目标域中图像样本的自注意力轮廓与源域中显著偏离，这会导致域变化期间出现显著的性能下降。为解决此重要问题，我们提出一种新的自注意力模块结构。具体而言，我们将三个域条件化向量（称为域条件化器）集成到 transformer 的查询、键和值组件中。我们学习一个网络，从每个 transformer 网络层的 class token 生成这三个域条件化器。我们发现，在完全在线测试时适应期间，这些域条件化器在每个 transformer 网络层都能逐渐消除域偏移的影响，并大大恢复原始的自注意力轮廓。我们的广泛实验结果表明，所提出的域条件化 transformer 在提高在线完全测试时域适应性能方面具有显著优势，相较于现有 SOTA 方法表现出显著的优势。