双路径对抗性提升用于在线测试时适应中的域迁移校正

Transformer 方法在各种机器学习任务中取得了显著成功。如何为 transformer 模型设计高效的测试时适应方法成为重要研究任务。本文受多尺度信号处理中双亚带小波提升方案的启发，提出一种用于测试时域迁移校正的双路径 token 提升方法。具体而言，在 transformer 网络的每一层引入额外的 token，称为“域迁移 token”。随后在域迁移 token 路径与 class token 路径之间进行交错的双路径提升，包括 token 预测与更新。预测网络和更新网络以对抗方式学习。具体而言，预测网络的任务是学习域迁移的残差噪声，这些噪声应在目标域的所有类别和样本中基本保持不变。换言之，预测的域迁移噪声应在所有样本类别之间不可区分。另一方面，更新网络的任务是通过移除输入图像样本的域迁移，使其在特征空间中更易于在不同类别之间区分。为有效学习具有两个对抗任务的预测网络和更新网络，无论从理论还是实践角度，都需要对更新网络使用平滑优化，对预测网络使用非平滑优化。实验在多个基准数据集上进行，结果表明我们的方法在在线完全测试时域适应性能上显著优于先前方法。代码已公开于 https://github.com/yushuntang/DPAL。