基于确定性 PAC-Bayes 的梯度下降泛化分析
机器学习
2025-02-12 v4 机器学习
摘要
我们为采用梯度下降方法或连续梯度流训练的模型建立了离散化（disintegrated）PAC-Bayesian 泛化界。与 PAC-Bayesian 框架中的标准做法相反，我们的结果适用于确定性的优化算法，无需任何去随机化步骤。我们的界是完全可计算的，依赖于初始分布的密度以及训练目标在轨迹上的 Hessian 矩阵。我们展示了我们的框架可应用于多种迭代优化算法，包括随机梯度下降（SGD）、基于动量的方案以及阻尼哈密顿动力学。
引用
@article{arxiv.2209.02525,
title = {Generalisation under gradient descent via deterministic PAC-Bayes},
author = {Eugenio Clerico and Tyler Farghly and George Deligiannidis and Benjamin Guedj and Arnaud Doucet},
journal= {arXiv preprint arXiv:2209.02525},
year = {2025}
}