Information-theoretic Analysis of the Gibbs Algorithm: An Individual Sample Approach

最近的进展表明，Gibbs 算法的泛化误差可以完全用学习到的假设与整个训练数据集之间的对称 KL 信息来 characterize。然而，评估这种 characterize 代价高昂，因为它涉及高维信息度量。在本文中，我们通过考虑 Gibbs 算法中的 individual sample 信息度量来解决这个问题。我们的主要贡献在于建立了学习到的假设与 individual samples 之间对称 KL 信息之和与假设与整个数据集之间的对称 KL 信息之间的渐近等价性。我们通过提供在非渐进情形下这两种度量之间差距的显式表达式来进行证明。此外，我们在 Gibbs 算法的语境下对各种信息度量的渐近行为进行了特征化，从而导致更紧的泛化误差界。提供了一个说明性的例子来验证我们的理论结果，表明我们的分析在更广泛的设置中都成立。