PAC-Bayes 在解释泛化性方面表现如何？
机器学习
2025-03-12 v1 机器学习
摘要
我们讨论了 PAC-Bayes 界提供有意义的泛化保证的必要条件。我们的分析表明，最优泛化保证仅取决于由先验分布诱导的风险分布。具体而言，只有当先验在表现优异的预测器上放置足够的质量时，才能达到目标的泛化水平。我们将这些要求与深度学习 PAC-Bayes 应用中使用数据依赖先验的普遍做法联系起来，并讨论了其对 PAC-Bayes “解释”泛化性这一主张的影响。
引用
@article{arxiv.2503.08231,
title = {How good is PAC-Bayes at explaining generalisation?},
author = {Antoine Picard-Weibel and Eugenio Clerico and Roman Moscoviz and Benjamin Guedj},
journal= {arXiv preprint arXiv:2503.08231},
year = {2025}
}