论梯度范数在 PAC-Bayesian 界中的重要性
机器学习
2022-11-03 v2 机器学习
摘要
评估真实风险与经验风险之差的泛化界已被广泛研究。然而，为获得界，现有技术使用严格假设，如一致有界或 Lipschitz 损失函数。为避免这些假设，本文采用另一种思路：我们通过使用平均有界损失和平均有界梯度范数假设来放宽一致有界假设。在此放宽下，我们提出一个新的泛化界，利用 log-Sobolev 不等式的收缩性。这些不等式在泛化界中增加了一个额外的损失梯度范数项，直观上是模型复杂度的替代量。我们将所提界应用于贝叶斯深度网络，并实证分析这一新损失梯度范数项对不同神经架构的影响。
引用
@article{arxiv.2210.06143,
title = {On the Importance of Gradient Norm in PAC-Bayesian Bounds},
author = {Itai Gat and Yossi Adi and Alexander Schwing and Tamir Hazan},
journal= {arXiv preprint arXiv:2210.06143},
year = {2022}
}
备注
NeurIPS 22. arXiv admin note: text overlap with arXiv:2002.09866