偏差应当被消除吗？利用偏差实现 OOD 泛化的通用框架

大多数分布外（OOD）泛化方法通过丢弃上下文偏差来学习领域不变表示。在本文中，我们提出了一个关键问题：偏差应当被消除吗？如果不消除，是否存在一种利用偏差以实现更好 OOD 泛化的通用方法？为了回答这些问题，我们首先提供了一项理论分析，刻画了偏差特征产生积极贡献的情形。尽管理论结果表明偏差有时可能发挥积极作用，但有效利用它并非易事，因为其有害和有益成分往往相互交织。最近的进展试图通过假设不变特征能提供可靠预测来改进对偏差的预测。然而，这种假设在现实世界中可能过于严格，尤其是当目标也从训练域转移到测试域时。受这一挑战的启发，我们引入了一个在更一般场景中利用偏差的框架。具体而言，我们采用生成模型来捕捉数据生成过程并识别潜在的偏差因子，随后利用这些因子构建偏差感知预测器。由于偏差感知预测器可能在不同环境间发生偏移，我们首先估计环境状态以在不同环境下训练预测器，并将它们组合为领域专家混合模型用于最终预测。然后，我们构建了一个通用的不变预测器，它能够在标签偏移下保持不变，以指导偏差感知预测器的适应。在合成数据和标准领域泛化基准上的评估表明，我们的方法始终优于仅依赖不变性的基线、近期的偏差利用方法以及高级基线，产生了更好的鲁棒性和适应性。