寻找被遗忘的域泛化

超出域（OOD）泛化是指在一个或多个域上训练的模型能够泛化到未见域的能力。在计算机视觉的 ImageNet 时代，衡量模型 OOD 性能的评估集被设计为严格与风格上 OOD。然而，随着基础模型的出现以及大规模网络数据的扩展，这一评估过程被掩盖了，因为数据集涵盖了广泛的域范围，风险测试域受污染。在寻找被遗忘的域泛化方面，我们创建了来自 LAION 的大规模子数据集——LAION-Natural 和 LAION-Rendition——它们在风格上严格 OOD 于相应的 ImageNet 和 DomainNet 测试集。在这些数据集上训练 CLIP 模型后发现，显著比例的性能得分来自于域内样本。这表明 ImageNet 时代的 OOD 泛化挑战依然存在，仅仅使用大规模网络数据并不能实现真正的 OOD 泛化。此外，通过系统性地探索自然数据集与渲染数据集按不同比例组合，我们识别出模型在这些域之间实现泛化的最佳混合比例。我们的数据集和结果重新启用了规模化的 OOD 鲁棒性评估——这是一个改进模型鲁棒性的关键前提。