面向分布外泛化：一项综述

传统机器学习范式基于训练数据与测试数据遵循相同统计模式的假设，这在数学上被称为独立同分布（$i.i.d.$）。然而，在实际应用中，由于不可预见的数据分布偏移，该 $i.i.d.$ 假设常常不成立，导致模型在部署后性能显著下降。这一观察到的差异表明了研究分布外（OOD）泛化问题的重要性。OOD 泛化是机器学习研究中一个新兴的主题，关注测试数据分布不同于训练数据分布的复杂场景。本文首次对 OOD 泛化进行了全面、系统的综述，涵盖了从问题定义、方法发展、评估流程到该领域的意义与未来方向等多方面内容。我们的讨论从对 OOD 泛化问题的精确形式化刻画开始。随后，我们根据现有方法在整体学习流程中的位置，将其分为无监督表示学习、有监督模型学习和优化三个部分。我们对每一类的代表性方法进行了深入讨论，并进一步阐明了它们之间的理论联系。接着，我们概述了 OOD 泛化研究中常用的基准数据集。最后，我们综述了该领域的现有工作，并提出了 OOD 泛化未来研究的潜在方向。本文所调研的 OOD 泛化方法总结可访问 http://out-of-distribution-generalization.com。