LFME：一种用于多专家领域泛化的简单框架
机器学习
2024-10-28 v2 计算机视觉与模式识别
摘要
领域泛化(DG)方法旨在通过使用来自多个源域的训练数据，在未见目标域中保持良好的性能。尽管在某些情况下取得了成功，但在大多数情景下提升基线性能仍具有挑战性。本工作引入了简单且有效的框架，称为从多个专家学习(LFME)，旨在使目标模型在所有源域中都成为专家，以提高DG性能。具体而言，除了用于推断的目标模型外，LFME还会训练多个专注于不同域的专家，其输出概率通过简单地对目标模型的logit进行正则化来提供专业指导。深入分析该框架，我们揭示了引入的logit正则化项隐式地提供了使目标模型获取更多信息的效果，以及在训练期间从专家那里挖掘困难样本的效果。在来自不同DG任务基准上的大量实验表明，LFME在基线上 consistently 有益，并且可以实现与现有方法相当的性能。代码已公开于\url{https://github.com/liangchen527/LFME}。
引用
@article{arxiv.2410.17020,
title = {LFME: A Simple Framework for Learning from Multiple Experts in Domain Generalization},
author = {Liang Chen and Yong Zhang and Yibing Song and Zhiqiang Shen and Lingqiao Liu},
journal= {arXiv preprint arXiv:2410.17020},
year = {2024}
}
备注
Accepted by NeurIPS 2024