域泛化中插值与外推的在线学习方法
机器学习
2021-11-19 v2 人工智能
计算机科学与博弈论
机器学习
摘要
分布外泛化的一个流行假设是训练数据由多个子数据集组成，每个子数据集抽取自一个不同的分布；其目标随后是“插值”这些分布并“外推”至它们之外——该目标被广泛称为域泛化。一种常见观点认为ERM能够插值但不能外推，且后者明显更难，但这些论断模糊且缺乏形式化依据。本工作中，我们将子群上的泛化重述为一个玩家最小化风险与对手呈现新测试分布之间的在线博弈。基于一种现有的、基于子群似然重加权的内插与外推概念，我们严格证明外推在计算上远比插值困难，尽管二者的统计复杂度无显著差异。此外，我们展示ERM——或一种带噪声变体——对两项任务均为可证明的极小极大最优。我们的框架为域泛化算法的形式化分析提供了新途径，其本身可能具有独立意义。
引用
@article{arxiv.2102.13128,
title = {An Online Learning Approach to Interpolation and Extrapolation in Domain Generalization},
author = {Elan Rosenfeld and Pradeep Ravikumar and Andrej Risteski},
journal= {arXiv preprint arXiv:2102.13128},
year = {2021}
}