在不同程度的分布偏移下鲁棒性可能比我们想象的更脆弱
机器学习
2023-12-18 v2
摘要
分布外(OOD)泛化是一个复杂的问题，其源于训练域与测试域之间可能的分布偏移的特异性。大多数基准采用多样化数据集来解决此问题；然而，每个数据集的训练域与测试域之间的分布偏移程度在很大程度上是固定的。这可能导致低估或高估模型实际 OOD 性能的偏倚结论。我们的研究深入探究了一种涵盖广泛偏移程度的更精细评估设定。我们表明，模型在不同程度的分布偏移下的鲁棒性可能相当脆弱且不一致，因此在从有限偏移程度范围内的评估得出结论时应更为谨慎。此外，我们观察到大规模预训练模型（如 CLIP）对新颖下游任务中即便微小的分布偏移也较为敏感。这表明，虽然预训练表征可能有助于改善下游分布内性能，但如果使用不当，它们在某些下游任务的 OOD 场景中可能对泛化产生极小甚至不利的影响。鉴于这些发现，我们鼓励未来研究在可能时跨越更宽泛的偏移程度范围进行评估。
引用
@article{arxiv.2310.06622,
title = {Robustness May be More Brittle than We Think under Different Degrees of Distribution Shifts},
author = {Kaican Li and Yifan Zhang and Lanqing Hong and Zhenguo Li and Nevin L. Zhang},
journal= {arXiv preprint arXiv:2310.06622},
year = {2023}
}