一种面向分布外泛化的信息论框架及其在随机梯度朗之万动力学中的应用
信息论
2024-12-16 v2 机器学习
math.IT
摘要
我们研究了机器学习中的分布外（OOD）泛化问题，并提出了一个建立信息论泛化界限的通用框架。我们的框架在积分概率度量（IPM）和 -散度之间自由插值，自然地恢复了一些已知结果（包括 Wasserstein 和 KL 界限），并产生了新的泛化界限。此外，我们证明了该框架具有最优传输解释。在两个具体例子中进行评估时，所提出的界限在某些情况下严格改进了现有界限，或在其他情况下匹配了最佳的现有 OOD 泛化界限。此外，通过关注 -散度并将其与条件互信息（CMI）方法相结合，我们推导出一族基于 CMI 的泛化界限，其中包含了最先进的 ICIMI 界限作为一个特例。最后，利用这些发现，我们分析了随机梯度朗之万动力学（SGLD）算法的泛化性能，表明我们推导出的泛化界限在某些场景下优于现有的信息论泛化界限。
引用
@article{arxiv.2403.19895,
title = {An Information-Theoretic Framework for Out-of-Distribution Generalization with Applications to Stochastic Gradient Langevin Dynamics},
author = {Wenliang Liu and Guanding Yu and Lele Wang and Renjie Liao},
journal= {arXiv preprint arXiv:2403.19895},
year = {2024}
}
备注
This work was accepted in part at the 2024 IEEE International Symposium on Information Theory and the 2024 Canadian Workshop on Information Theory. This work was submitted to IEEE Transactions on Information Theory