Wasserstein PAC-Bayes 学习：利用优化保证解释泛化能力
机器学习
2023-05-31 v2 机器学习
最优化与控制
摘要
PAC-Bayes 学习是一个成熟的框架，既用于评估学习算法的泛化能力，也通过利用泛化界作为训练目标来设计新的学习算法。现有大多数界涉及 Kullback-Leibler（KL）散度，其无法捕捉损失函数的几何性质，而这些性质在优化中往往很有用。我们通过扩展新兴的 Wasserstein PAC-Bayes 理论来解决此问题。我们发展了以 Wasserstein 距离替代通常 KL 散度的新 PAC-Bayes 界，并证明良好的优化保证可转化为优良的泛化能力。特别地，我们通过利用 Bures-Wasserstein SGD 的优化性质，给出了其泛化界。
引用
@article{arxiv.2304.07048,
title = {Wasserstein PAC-Bayes Learning: Exploiting Optimisation Guarantees to Explain Generalisation},
author = {Maxime Haddouche and Benjamin Guedj},
journal= {arXiv preprint arXiv:2304.07048},
year = {2023}
}