基于稳定性的指数族朗之万动力学的泛化界
机器学习
2022-11-02 v2 机器学习
摘要
近年来，基于稳定性的噪声随机算法的泛化界取得了进展，特别是基于稳定性（Mou等人，2018；Li等人，2020）和信息技术方法（Xu和Raginsky，2017；Negrea等人，2019；Steinke和Zakynthinou，2020）的随机梯度朗之万动力学（SGLD）。在本文中，我们统一并大幅推广了基于稳定性的泛化界，并做出了三项技术贡献。首先，我们用期望（而非一致）稳定性来界定泛化误差，这可以说带来了定量上更紧的界。其次，作为我们的主要贡献，我们引入了指数族朗之万动力学（EFLD），它是SGLD的实质推广，包含Sign-SGD和量化SGD的噪声版本作为特例。我们为任意EFLD算法建立了基于数据依赖期望稳定性的泛化界，其样本依赖为O(1/n)，且依赖于梯度差异而非梯度范数，从而产生了显著更紧的界。第三，我们为EFLD的特例建立了优化保证。此外，在基准测试上的实证结果表明，我们的界是非平凡的、比现有界定量更紧，并且在噪声标签下表现正确。
引用
@article{arxiv.2201.03064,
title = {Stability Based Generalization Bounds for Exponential Family Langevin Dynamics},
author = {Arindam Banerjee and Tiancong Chen and Xinyan Li and Yingxue Zhou},
journal= {arXiv preprint arXiv:2201.03064},
year = {2022}
}