基于 Wasserstein 距离的高概率泛化界学习
机器学习
2023-10-30 v2 机器学习
摘要
最小化总体风险或泛化差距的上界已被广泛用于结构风险最小化（SRM）——这尤其是 PAC-Bayesian 学习的核心。尽管近年来取得了成功并持续受到关注，PAC-Bayesian 框架的一个局限是大多数界都涉及 Kullback-Leibler（KL）散度项（或其变体），这可能表现出不稳定行为且无法捕捉学习问题的底层几何结构——从而限制了其在实际应用中的使用。作为补救，近期研究尝试用 Wasserstein 距离替换 PAC-Bayesian 界中的 KL 散度。尽管这些界在一定程度上缓解了上述问题，但它们要么在期望意义下成立，要么针对有界损失，要么在 SRM 框架下难以最小化。在这项工作中，我们推进了这一研究方向，证明了基于 Wasserstein 距离的 PAC-Bayesian 泛化新界，分别适用于独立同分布（i.i.d.）数据的批量学习，以及潜在非 i.i.d. 数据的在线学习。与以往工作相反，我们的界更强，因为（i）它们以高概率成立，（ii）它们适用于无界（潜在重尾）损失，且（iii）它们导出了可用于 SRM 的可优化训练目标。因此我们推导了基于 Wasserstein 的 PAC-Bayesian 学习新算法，并通过多种实验展示了其经验优势。
引用
@article{arxiv.2306.04375,
title = {Learning via Wasserstein-Based High Probability Generalisation Bounds},
author = {Paul Viallard and Maxime Haddouche and Umut Şimşekli and Benjamin Guedj},
journal= {arXiv preprint arXiv:2306.04375},
year = {2023}
}
备注
Accepted to NeurIPS 2023