LAION-C：面向大规模视觉模型的脱分布基准
计算机视觉与模式识别
2026-05-21 v2 机器学习
摘要
脱分布 (OOD) 鲁棒性是计算机视觉模型所需的属性。提高模型鲁棒性需要高质量的鲁棒性基准信号来量化进展。虽然已提出 various 基准数据集如 ImageNet-C，但大多数 ImageNet-C 损坏类型相对于今天的大规模网络爬取数据集已不再是 OOD，因为这些数据集已经包含常见的损坏，如模糊或 JPEG 压缩伪影。因此，这些基准不再适用于评估 Web 规模数据集的 OOD 鲁棒性。事实上，近期模型在 ImageNet 时代的 OOD 基准上表现饱和，表明尚不清楚基于 Web 规模数据集训练的模型在 OOD 泛化方面是否真正更好，或者仅仅因为在训练中接触到了测试失真。为此，我们引入 LAION-C 作为 ImageNet-C 的替代基准。LAION-C 由六种新型失真类型构成，专为确保即使针对 LAION 等 Web 规模数据集也保持 OOD 而设计。在对最新模型的全面评估中，我们发现 LAION-C 数据集对当代模型构成重大挑战，包括如 Gemini 和 GPT-4o 等大语言模型视觉模型。我们还进行了心理物理实验以评估人类观察者对这些失真的难度，从而将模型与实验室质量的人类鲁棒性数据进行比较。我们观察到 OOD 泛化出现了范式转变：从人类超过模型，到最佳模型现在匹配或超过最佳人类观察者。
引用
@article{arxiv.2506.16950,
title = {LAION-C: An Out-of-Distribution Benchmark for Web-Scale Vision Models},
author = {Fanfei Li and Thomas Klein and Wieland Brendel and Robert Geirhos and Roland S. Zimmermann},
journal= {arXiv preprint arXiv:2506.16950},
year = {2026}
}
备注
ICML 2025 camera ready version