用于多源域适应的师生一致性方法
机器学习
2020-10-21 v1
摘要
在多源域适应（Multi-Source Domain Adaptation, MSDA）中，模型在来自多个源域的样本上训练，并用于在不同目标域上进行推理。主流的域适应方法学习源域和目标域的联合表示。遗憾的是，联合表示可能强调对源域有用但损害目标域推理的特征（负迁移），或移除关于目标域的关键信息（知识消退）。我们提出多源师生（Multi-source Student Teacher, MUST），一种旨在缓解这些问题的新流程。其关键思想分两步：首先，我们在源标签上训练教师网络并在目标上推断伪标签；然后，我们使用伪标签训练学生网络，并正则化教师以拟合学生预测。该正则化有助于教师对目标数据的预测在各轮次之间保持一致。在三个 MSDA 基准（数字、文本情感分析、视觉目标识别）上对 MUST 的评估表明，MUST 优于当前 SOTA，有时优势非常大。我们进一步分析了解决方案和优化的动态，表明学习到的模型遵循目标分布密度，隐式地将其作为无标签目标数据中的信息使用。
引用
@article{arxiv.2010.10054,
title = {Teacher-Student Consistency For Multi-Source Domain Adaptation},
author = {Ohad Amosy and Gal Chechik},
journal= {arXiv preprint arXiv:2010.10054},
year = {2020}
}