OoD-Bench：量化与理解分布外泛化的两个维度
机器学习
2022-04-01 v3
摘要
深度学习在独立同分布 (i.i.d.) 数据上取得了巨大成功。然而，当遇到分布外 (OoD) 数据（即训练与测试数据来自不同分布）时，神经网络性能常急剧退化。尽管已提出大量算法用于OoD泛化，我们对用于训练和评估这些算法的数据的理解仍停滞不前。在本工作中，我们首先识别并度量了各类数据集中普遍存在的两种不同分布偏移。接着，通过大量实验，我们在两组基准上比较OoD泛化算法，每组由其中一种分布偏移主导，揭示了它们在该偏移上的优势及在另一偏移上的局限。总体而言，我们将看似无关的不同研究领域的现有数据集与算法置于同一连贯图景中。它可作为未来OoD泛化研究可依托的立足点。我们的代码见 https://github.com/ynysjtu/ood_bench。
引用
@article{arxiv.2106.03721,
title = {OoD-Bench: Quantifying and Understanding Two Dimensions of Out-of-Distribution Generalization},
author = {Nanyang Ye and Kaican Li and Haoyue Bai and Runpeng Yu and Lanqing Hong and Fengwei Zhou and Zhenguo Li and Jun Zhu},
journal= {arXiv preprint arXiv:2106.03721},
year = {2022}
}
备注
Accepted by CVPR 2022 (oral)