直线上的精度：分布外与分布内泛化能力的强相关性研究
机器学习
2021-10-11 v2 机器学习
摘要
为使机器学习系统可靠，我们必须理解其在未见过的、分布外环境中的表现。本文通过实证表明，对于广泛的模型和分布偏移，分布外性能与分布内性能之间存在强相关性。具体而言，我们在 CIFAR-10 与 ImageNet 的变体、源自 YCB 物体的合成姿态估计任务、FMoW-WILDS 中的卫星图像分类以及 iWildCam-WILDS 中的野生动物分类上，展示了分布内与分布外性能之间的强相关性。这些强相关性跨模型架构、超参数、训练集规模和训练时长成立，并且比现有域适应理论所预期的更为精确。为完整刻画，我们还研究了相关性较弱的情况，例如 CIFAR-10-C 的某些合成分布偏移以及组织分类数据集 Camelyon17-WILDS。最后，我们基于高斯数据模型给出了一个候选理论，说明分布偏移引起的数据协方差变化如何影响观测到的相关性。
引用
@article{arxiv.2107.04649,
title = {Accuracy on the Line: On the Strong Correlation Between Out-of-Distribution and In-Distribution Generalization},
author = {John Miller and Rohan Taori and Aditi Raghunathan and Shiori Sagawa and Pang Wei Koh and Vaishaal Shankar and Percy Liang and Yair Carmon and Ludwig Schmidt},
journal= {arXiv preprint arXiv:2107.04649},
year = {2021}
}