关于随机子集泛化误差界与随机梯度朗之万动力学算法
信息论
2021-07-27 v2 math.IT
机器学习
摘要
在这项工作中，我们利用 Hellstr"om 和 Durisi [1] 开发的框架统一了若干基于随机子集的期望泛化误差界。首先，我们恢复了 Bu 等人 [2] 基于单个样本互信息的界，以及 Negrea 等人 [3] 基于数据集随机子集的界。然后，我们引入 Steinke 和 Zakynthinou [4] 在随机子样本设定下的新的类似界，并指出了该框架的一些局限性。最后，我们将 Haghifam 等人 [5] 针对朗之万动力学的界推广到随机梯度朗之万动力学，并对具有潜在大梯度范数的损失函数对其进行了精炼。
关键词
引用
@article{arxiv.2010.10994,
title = {On Random Subset Generalization Error Bounds and the Stochastic Gradient Langevin Dynamics Algorithm},
author = {Borja Rodríguez-Gálvez and Germán Bassi and Ragnar Thobaben and Mikael Skoglund},
journal= {arXiv preprint arXiv:2010.10994},
year = {2021}
}
备注
To appear in the Information Theory Workshop (ITW 2020) conference. 10 pages, 5 of the main text, and 5 of appendices