SGLD 的与时间无关的信息论泛化界
机器学习
2023-11-03 v1 机器学习
摘要
我们在平滑性与耗散性假设下，为随机梯度 Langevin 动力学（SGLD）提供了新颖的信息论泛化界，这些假设在采样与非凸优化研究中被广泛使用。我们的界与时间无关，且随样本量增大而衰减至零，无论迭代次数多少以及步长是否固定。与先前研究不同，我们通过关注 Kullback–Leibler 散度的时变演化来推导泛化误差界，该散度与数据集的稳定性相关，并且是输出参数与输入数据集之间互信息的上界。此外，当训练损失与测试损失相同时，我们通过证明 SGLD 的损失函数为准指数型，建立了首个信息论泛化界。该界同样与时间无关，并去除了现有工作中存在问题的步长依赖性，通过将我们的分析与现有非凸优化误差界结合，得到了改进的超额风险界。
引用
@article{arxiv.2311.01046,
title = {Time-Independent Information-Theoretic Generalization Bounds for SGLD},
author = {Futoshi Futami and Masahiro Fujisawa},
journal= {arXiv preprint arXiv:2311.01046},
year = {2023}
}
备注
Accepted by the Thirty-seventh Conference on Neural Information Processing Systems (NeurIPS2023), 29 pages