面向领域泛化的领域无关条件不变预测
机器学习
2024-06-11 v1
摘要
领域泛化旨在通过从多个源领域学习，开发一个能在未见过的目标领域上表现良好的模型。然而，近期提出的领域泛化模型通常依赖于领域标签，这在许多现实场景中可能不可用。为了解决这一挑战，我们提出了一种判别风险最小化（DRM）理论及相应的算法，以在无领域标签的情况下捕获不变特征。在DRM理论中，我们证明减少整体源域与其任何子集之间预测分布的差异有助于获得不变特征。为了应用DRM理论，我们开发了一种算法，该算法由贝叶斯推断和一个称为类别判别风险（CDR）的新惩罚项组成。在贝叶斯推断中，我们将模型的输出转换为概率分布，以与我们的理论假设保持一致。我们采用滑动更新方法来近似模型的整体预测分布，从而能够获得CDR惩罚项。我们还指出了这些组件在寻找不变特征方面的有效性。我们在多个真实世界数据集上评估了我们的算法与各种领域泛化方法的性能，为我们的理论提供了实证支持。
引用
@article{arxiv.2406.05616,
title = {Domain Agnostic Conditional Invariant Predictions for Domain Generalization},
author = {Zongbin Wang and Bin Pan and Zhenwei Shi},
journal= {arXiv preprint arXiv:2406.05616},
year = {2024}
}