基于分位风险最小化的概率化域泛化

域泛化(DG)旨在利用从多个相关训练分布或域中抽取的数据,寻求在未见测试分布上表现良好的预测器。为此,DG 通常被表述为对可能域集合的平均或最坏情况问题。然而,平均表现良好的预测器缺乏鲁棒性,而最坏情况表现良好的预测器往往过于保守。为此,我们提出一种新的 DG 概率框架,其目标是学习以高概率表现良好的预测器。我们的核心思想是,训练期间看到的分布偏移应告知我们测试时可能的偏移,这通过将训练和测试域显式关联为同一底层元分布下的抽取来实现。为实现概率化 DG,我们提出称为分位风险最小化(QRM)的新优化问题。通过最小化预测器在域上风险分布的 $\alpha$ 分位数,QRM 寻求以概率 $\alpha$ 表现良好的预测器。为实际求解 QRM,我们提出经验 QRM(EQRM)算法,并给出:(i) EQRM 的泛化界;以及 (ii) 当 $\alpha \to 1$ 时 EQRM 恢复因果预测器的条件。在实验中,我们引入更全面的以分位数为中心的 DG 评估协议,并证明 EQRM 在来自 WILDS 和 DomainBed 的数据集上优于 SOTA 基线。