什么是研究极小极大学习器泛化的良好度量？
机器学习
2022-06-22 v2 机器学习
最优化与控制
摘要
极小极大优化已成为许多机器学习(ML)问题的支柱。尽管优化算法的收敛行为在极小极大设定下已被广泛研究，但其在随机极小极大优化问题中的泛化保证——即基于经验数据训练的解在未见测试数据上的表现——相对未被充分探索。一个基本问题仍不明确：什么是研究极小极大学习器泛化的良好度量？在本文中，我们旨在通过首先展示原始风险(一种研究最小化问题泛化的通用度量，近期也被采用以研究极小极大问题中的泛化)在简单例子中失效来回答此问题。因此我们提出一种研究极小极大学习器泛化的新度量：原始间隙，定义为原始风险与其在所有模型上最小值之差，以规避这些问题。接下来，我们在非凸-凹设定下推导了原始间隙的泛化误差界。作为我们分析的余果，我们还解决了两个开放问题：在强意义下——即无需强凹性或假设最大化与期望可交换(而文献中需要这些假设之一)——为原始风险与原始对偶风险(另一种仅在全局鞍点以强意义存在时定义良好的现有度量)建立泛化误差界。最后，我们利用这一新度量比较了随机极小极大优化中两种流行算法——梯度下降上升(GDA)与梯度下降最大化(GDMax)的泛化行为。
引用
@article{arxiv.2206.04502,
title = {What is a Good Metric to Study Generalization of Minimax Learners?},
author = {Asuman Ozdaglar and Sarath Pattathil and Jiawei Zhang and Kaiqing Zhang},
journal= {arXiv preprint arXiv:2206.04502},
year = {2022}
}
备注
34 pages, 2 figures