面向基于 Transformer 的无源域适应的非因果因子对齐

传统的域适应算法旨在通过仅对齐源域和目标域之间任务判别性的因果因子来获得更好的泛化能力。然而，我们发现保留因果因子与非因果因子之间的虚假关联在弥合域差距和改善目标域适应中起着至关重要的作用。因此，我们提出构建一个先通过对齐非因果因子来实现解耦并支持因果因子对齐的框架。我们还研究并发现，视觉 Transformer 的强形状偏置及其多头注意力机制，使其成为实现我们所提解耦的合适架构。因此，我们提出构建一种因果强制无源 Transformer 框架（C-SFTrans），通过一种新颖的两阶段对齐方法实现解耦：a) 非因果因子对齐：利用风格分类任务对齐非因果因子，从而实现整体全局对齐；b) 任务判别性因果因子对齐：通过目标域适应对齐因果因子。我们首次在隐私保护的无源设定下研究了视觉 Transformer（ViTs）的作用。我们的方法在多个域适应基准上取得了最先进的结果。