Meta-DMoE：通过混合专家元蒸馏适应域偏移
机器学习
2023-01-13 v2 计算机视觉与模式识别
摘要
本文研究域偏移问题。多数现有方法在多个源域上使用单一模型训练，并将同一训练模型用于所有未见目标域。此类方案并非最优，因为每个目标域各有其特性而未获适应。此外，期望单模型训练从多源域学习广泛知识有违直觉。模型更偏向仅学习域不变特征，并可能导致负知识迁移。本工作中，我们提出一种用于无监督测试时适应的新框架，其被表述为应对域偏移的知识蒸馏过程。具体而言，我们采用混合专家（MoE）作为教师，各专家分别在各异源域上训练以最大化其专业性。给定测试时目标域，采样一小批无标签数据以向MoE查询知识。由于源域与目标域相关，基于transformer的聚合器进而通过考察其相互关联来组合域知识。该输出被用作监督信号，将学生预测网络向目标域适应。我们进一步采用元学习，以迫使聚合器蒸馏正向知识、学生网络实现快速适应。大量实验表明所提方法优于当前最优方法，并验证了各提出组件的有效性。代码见 https://github.com/n3il666/Meta-DMoE。
引用
@article{arxiv.2210.03885,
title = {Meta-DMoE: Adapting to Domain Shift by Meta-Distillation from Mixture-of-Experts},
author = {Tao Zhong and Zhixiang Chi and Li Gu and Yang Wang and Yuanhao Yu and Jin Tang},
journal= {arXiv preprint arXiv:2210.03885},
year = {2023}
}
备注
Accepted at NeurIPS2022