迭代特征匹配:面向仅需对数级环境的可证明域泛化
机器学习
2021-11-24 v2 机器学习
摘要
域泛化旨在利用来自有限数量训练环境的数据,在未见过的测试环境中表现良好。尽管针对该任务提出了大量算法,但从理论和经验上评估其性能仍然非常具有挑战性。诸如(条件)域对抗网络[ Ganin et al., 2016, Long et al., 2018 ]等分布匹配算法广受欢迎并取得经验性成功,但缺乏形式化保证。其他方法如不变风险最小化(Invariant Risk Minimization, IRM)即使在[ Rosenfeld et al., 2021 ]提出的简单数据模型上,也需要数量多到不切实际的训练环境——与伪特征空间维度 成线性关系。在该模型的一个变体下,我们证明 ERM 和 IRM 均无法在 个环境下实现泛化。随后我们提出一种迭代特征匹配算法,该算法以高概率保证在仅观测到 个环境后即可得到一个可泛化的预测器。我们的结果首次在具体的非平凡数据模型下,为实践中广泛使用的分布匹配算法家族提供了理论依据。
引用
@article{arxiv.2106.09913,
title = {Iterative Feature Matching: Toward Provable Domain Generalization with Logarithmic Environments},
author = {Yining Chen and Elan Rosenfeld and Mark Sellke and Tengyu Ma and Andrej Risteski},
journal= {arXiv preprint arXiv:2106.09913},
year = {2021}
}
备注
We acknowledge that the previous version of this paper (v1) contained an error - Theorem 3.2 was incorrect. We removed this theorem and updated the rest of the paper in v2