泛化与平坦极小值之间的 PAC-Bayesian 联系
机器学习
2025-02-12 v2 机器学习
摘要
现代机器学习通常涉及过参数化设置（训练参数数量大于数据集大小）中的预测器，其训练不仅在训练数据上表现出良好的性能，还具备良好的泛化能力。这一现象挑战了许多理论结果，仍然是一个未解之谜。为了更好地理解这一点，我们提供了涉及梯度项的新型泛化界。为此，我们将 PAC-Bayes 工具箱与 Poincaré 不等式和 Log-Sobolev 不等式相结合，避免了对预测器空间维度的显式依赖。我们的结果突出了平坦极小值（即其邻域也几乎最小化学习问题的极小值）对泛化性能的积极影响，直接体现了优化阶段的优势。
引用
@article{arxiv.2402.08508,
title = {A PAC-Bayesian Link Between Generalisation and Flat Minima},
author = {Maxime Haddouche and Paul Viallard and Umut Simsekli and Benjamin Guedj},
journal= {arXiv preprint arXiv:2402.08508},
year = {2025}
}
备注
Published at International Conference on Algorithmic Learning Theory 2025