迈向上下文感知的域泛化：理解边际迁移学习的优势与局限

在这项工作中，我们分析了关于输入$X$的上下文信息可以改善深度学习模型在新领域中的预测的条件。遵循域泛化（DG）中的边际迁移学习工作，我们将上下文形式化为与输入本身来自同一域的一组数据点的置换不变表示。我们提供了理论上分析这种方法在何种条件下原则上可以带来益处，并制定了两个可以在实践中轻松验证的必要标准。此外，我们提供了关于边际迁移学习方法承诺鲁棒性的分布偏移类型的见解。实证分析表明，我们的标准在区分有利和不利场景方面是有效的。最后，我们证明可以可靠地检测模型在分布外（OOD）域中被要求进行无根据外推的场景，识别潜在的失败案例。因此，我们展示了一种在最具预测性的模型和最鲁棒的模型之间进行选择的方法，规避了预测性能和鲁棒性之间众所周知的权衡。