基于奇异学习理论的 Gibbs 后验的 PAC-Bayes 边界
机器学习
2026-04-21 v1 机器学习
摘要
我们推导了针对 Gibbs 后验的显式非渐近 PAC-Bayes 泛化边界，即通过对先验进行指数倾斜以获得数据依赖的参数分布。与基于统一大数定律的经典最坏情况复杂度边界不同，后者需要明确控制模型空间的度量熵（积分），我们的分析得到的后验平均风险边界可用于过参数化模型并适应数据结构和内在模型复杂度。该边界涉及参数空间上的一个边际型积分，我们利用奇异学习理论中的工具对其进行分析，以获得后验风险的显式且具有实际意义的表征。应用于低秩矩阵完成和 ReLU 神经网络回归与分类显示，所得边界在分析上是可操作的，并且显著紧凑于经典基于复杂度的边界。我们的结果突显了PAC-Bayes分析在现代过参数化和奇异模型中实现精确有限样本泛化保证的潜力。
引用
@article{arxiv.2604.17219,
title = {PAC-Bayes Bounds for Gibbs Posteriors via Singular Learning Theory},
author = {Chenyang Wang and Yun Yang},
journal= {arXiv preprint arXiv:2604.17219},
year = {2026}
}