域泛化算法的失效模式
机器学习
2021-11-30 v1
摘要
域泛化算法利用来自多个域的训练数据来学习能很好地泛化到未见域的模型。虽然最近提出的基准表明大多数现有算法并未超越简单基线，但既有的评估方法未能揭示导致性能不佳的各种因素的影响。在本文中，我们提出了一个域泛化算法的评估框架，该框架允许将误差分解为捕捉泛化不同方面的分量。受基于域不变表示学习思想的算法的普遍性启发，我们扩展了该评估框架以捕捉实现不变性时的各类失败。我们表明，对泛化误差的最大贡献因子随方法、数据集、正则化强度甚至训练时长的不同而变化。我们观察到与学习域不变表示策略相关的两个问题。在 Colored MNIST 上，大多数域泛化算法失败是因为它们仅在训练域上达到了域不变性。在 Camelyon-17 上，域不变性降低了在未见域上表示的质量。我们假设，转而专注于在丰富表示之上调优分类器可能是一个有前景的方向。
引用
@article{arxiv.2111.13733,
title = {Failure Modes of Domain Generalization Algorithms},
author = {Tigran Galstyan and Hrayr Harutyunyan and Hrant Khachatrian and Greg Ver Steeg and Aram Galstyan},
journal= {arXiv preprint arXiv:2111.13733},
year = {2021}
}