域迁移中适配知识的可视化

在源数据上训练的源模型与通过无监督域适配（UDA）学习得到的目标模型通常编码不同的知识。为理解适配过程，我们利用图像翻译刻画它们的知识差异。具体而言，我们将一张翻译图像及其原始版本分别输入两个模型，构成两个分支。通过更新翻译图像，我们迫使两个分支输出相似。当满足该要求时，两图像之间的差异可补偿并因而表示模型间的知识差异。为强制两个分支输出相似并刻画适配知识，我们提出了一种无源图像翻译方法，仅利用目标图像与两个模型生成源风格图像。我们在多个数据集上结合不同 UDA 方法可视化了适配知识，发现生成图像成功捕捉到两域之间的风格差异。在应用方面，我们展示了生成图像能够在无需访问源数据的情况下进一步微调目标模型。代码见 https://github.com/hou-yz/DA_visualization。