面向分布外泛化的域特定风险最小化

近期的域泛化（DG）方法通常将在源域上学习到的假设用于未见目标域的推断。然而，由于称为“适应性差距”的鸿沟，这样的假设可能任意远离目标域的最优假设。若不利用来自未见测试样本的域信息，适应性差距的估计与最小化是不可行的，这阻碍了我们使模型对任意未知分布鲁棒化。本文中，我们首先建立一个显式考虑适应性差距的泛化界。我们的界启发了两种缩小差距的策略：第一种是集成多个分类器以丰富假设空间，随后我们提出有效的差距估计方法以指导为目标选择更好的假设；另一种方法是利用在线目标样本调整模型参数来直接最小化差距。我们由此提出\textbf{域特定风险最小化（DRM）}。在训练期间，DRM 分别建模不同源域的分布；在推断时，DRM 对每个到达的目标样本使用源假设执行在线模型引导。大量实验证明了所提 DRM 在域泛化上的有效性，具有以下优势：1）在不同分布偏移设定下显著优于竞争性基线；2）与朴素经验风险最小化相比，在所有源域上取得相当或更高的准确率；3）在训练期间保持简单高效；4）与不变学习方法互补。