通过多样化揭示 OOD 泛化的关键组件
机器学习
2024-04-23 v3
摘要
监督学习数据集可能包含多个能同样好地解释训练集的线索，即学习其中任何一个都能在训练数据上得到正确预测。然而，许多线索可能是虚假的，即在分布偏移下失去预测能力，从而导致无法泛化到分布外（OOD）数据。最近开发的“多样化”方法（Lee et al., 2023; Pagliardini et al., 2023）通过寻找依赖不同特征的多个多样化假设来解决这一问题。本文旨在研究此类方法，并识别促成其 OOD 泛化能力的关键组件。我们表明：(1) 多样化方法对用于多样化的未标记数据分布高度敏感，一旦偏离特定方法的最佳点，性能会显著下降。(2) 仅靠多样化不足以实现 OOD 泛化。所用学习算法的选择（如模型架构和预训练）至关重要。在标准实验（Waterbirds 和 Office-Home 数据集上的分类）中，使用次优选择会导致准确率绝对下降高达 20%。(3) 学习算法的最优选择取决于未标记数据，反之亦然，即它们是相互依赖的。(4) 最后，我们表明在实践中，增加多样化假设的数量（多样化方法的主要特征）无法缓解上述陷阱。这些发现提供了对影响多样化方法 OOD 泛化能力的关键设计因素的更清晰理解，可指导从业者最佳地使用现有方法，并引导研究人员开发更好新方法。
引用
@article{arxiv.2312.16313,
title = {Unraveling the Key Components of OOD Generalization via Diversification},
author = {Harold Benoit and Liangze Jiang and Andrei Atanov and Oğuzhan Fatih Kar and Mattia Rigotti and Amir Zamir},
journal= {arXiv preprint arXiv:2312.16313},
year = {2024}
}
备注
ICLR 2024