通过数据依赖估计得到 SGLD 的信息论泛化界
机器学习
2020-01-28 v3 信息论
机器学习
math.IT
摘要
本工作中，我们改进了由 Pensia、Jog 和 Loh（2018）发起且最近由 Bu、Zou 和 Veeravalli（2019）拓展的带噪迭代学习算法的逐步分析。我们的主要贡献是通过数据依赖估计显著改进了随机梯度 Langevin 动力学（SGLD）的互信息界。我们的方法基于互信息的变分刻画，并使用数据依赖先验，其基于训练样本的一个子集来预测小批量梯度。我们的方法在 Russo 和 Zou（2015）以及 Xu 和 Raginsky（2017）的信息论框架内具有广泛适用性。我们的界可与经验风险曲面平坦性的一种度量相联系。与其他依赖于梯度平方范数的界相比，实证研究表明我们界中的项小了数个数量级。
引用
@article{arxiv.1911.02151,
title = {Information-Theoretic Generalization Bounds for SGLD via Data-Dependent Estimates},
author = {Jeffrey Negrea and Mahdi Haghifam and Gintare Karolina Dziugaite and Ashish Khisti and Daniel M. Roy},
journal= {arXiv preprint arXiv:1911.02151},
year = {2020}
}
备注
23 pages, 1 figure. To appear in, Advances in Neural Information Processing Systems (33), 2019