基于稳定性的变分推断泛化界限

变分推断（VI）广泛用于贝叶斯机器学习中的近似推断。尽管已实现此实践成功，变分推断及相关算法的泛化界限也已通过与PAC-Bayes分析的联系而得以发展。另一系列工作通过稳定性论证或使用互信息界限提供了算法特定的泛化界限，表明这些界限在实际中较为紧密，但不幸的是，这些界限无法直接应用于近似贝叶斯算法。本文通过为一类包含变分推断的近似贝叶斯算法（具体而言是针对使用随机梯度下降优化其目标函数的情况）开发基于算法稳定性的泛化界限来弥补这一差距。如同非贝叶斯情况一样，泛化误差由扰动数据集上的预期参数差异所界定。新方法补充了PAC-Bayes分析，并在某些情况下可提供更紧密的界限。实验说明表明，新方法在现代神经网络架构和数据集上可获得非空洞的界限，并且可阐明不同近似贝叶斯算法之间性能差异。