通过锐度迈向鲁棒的分布外泛化界
机器学习
2024-03-12 v1
摘要
泛化到分布外（OOD）数据或未见领域（称为 OOD 泛化）仍然缺乏适当的理论保证。经典的 OOD 界关注源域和目标域之间的不同距离度量，但未能考虑学习模型的优化性质。如近期工作在经验上所示，学习极小值的锐度影响 OOD 泛化。为了弥合优化与 OOD 泛化之间的这一鸿沟，我们研究了锐度对模型在领域偏移中容忍数据变化的影响，这通常在泛化中由“鲁棒性”来刻画。在本文中，我们给出了锐度与鲁棒性之间的严格联系，这为鲁棒算法提供了更好的 OOD 保证。它也为“平坦极小值导致更好的 OOD 泛化”提供了理论支持。总体而言，我们通过考虑鲁棒性，提出了一种基于锐度的 OOD 泛化界，从而得到了比非鲁棒保证更紧的界。我们的发现得到了岭回归模型实验以及深度学习分类任务实验的支持。
引用
@article{arxiv.2403.06392,
title = {Towards Robust Out-of-Distribution Generalization Bounds via Sharpness},
author = {Yingtian Zou and Kenji Kawaguchi and Yingnan Liu and Jiashuo Liu and Mong-Li Lee and Wynne Hsu},
journal= {arXiv preprint arXiv:2403.06392},
year = {2024}
}
备注
40 pages, 9 figures, ICLR 2024 Spotlight Presentation