连接Jensen-Shannon散度和Kullback-Leibler散度：表示学习的新界
机器学习
2026-03-18 v2 信息论
math.IT
摘要
互信息(MI)是表示学习中广泛使用的一种基本统计依赖性度量。虽然通过其定义为Kullback-Leibler散度(KLD)来直接优化MI通常是棘手的，但许多近期方法转而最大化替代的依赖性度量，最著名的是通过判别损失最大化联合分布与边缘分布乘积之间的Jensen-Shannon散度(JSD)。然而，这些替代目标与MI之间的联系仍知之甚少。在这项工作中，我们通过推导一个在一般情况下作为JSD函数的KLD的新的、紧致的且易处理的下界，弥合了这一差距。通过将这个界特化到联合分布和边缘分布，我们证明了最大化基于JSD的信息会增加互信息的一个有保证的下界。此外，我们重新审视了基于JSD目标的实际实现，并观察到最小化一个用于区分联合对与边缘对的二元分类器的交叉熵损失，可以恢复JSD的一个已知变分下界。大量实验表明，我们的下界在应用于MI估计时是紧致的。我们将我们的下界与一系列既定参考场景中最先进的神经变分下界估计器进行了比较。我们的下界估计器始终能提供MI紧致下界的稳定、低方差估计。我们还展示了它在信息瓶颈框架中的实际效用。综合来看，我们的结果为在基于MI的表示学习中使用判别学习提供了新的理论依据和强有力的经验证据。
引用
@article{arxiv.2510.20644,
title = {Connecting Jensen-Shannon and Kullback-Leibler Divergences: A New Bound for Representation Learning},
author = {Reuben Dorent and Polina Golland and William Wells},
journal= {arXiv preprint arXiv:2510.20644},
year = {2026}
}
备注
Accepted at NeurIPS 2025. This revised version provides a proof of Lemma B.5, previously stated as a conjecture in the original submission. Code available at https://github.com/ReubenDo/JSDlowerbound/