DEMI：互信息的判别性估计器
机器学习
2020-12-01 v2 机器学习
摘要
估计连续随机变量间的互信息通常是难解的，且对高维数据极具挑战。近期进展利用神经网络优化互信息的变分下界。尽管对这一难题展现出前景，变分方法已在理论与实证上被证明存在严重的统计局限：1）许多方法在底层互信息较低或较高时难以给出准确估计；2）所得估计器可能具有高方差。我们的方法基于训练一个分类器，该分类器给出数据样本对来自联合分布而非其边际分布之积的概率。此外，我们建立了互信息与分类器在测试集上产生的平均对数优势比估计之间的直接联系，从而得到一个简单而准确的互信息估计器。我们从理论上表明，当其他方法达到最优时，我们的方法与其他变分方法等价，而我们的方法绕开了变分界。实证结果显示了我们的方法的高准确性，以及我们的估计器在表示学习情境中的优势。我们的演示可在 https://github.com/RayRuizhiLiao/demi_mi_estimator 获取。
引用
@article{arxiv.2010.01766,
title = {DEMI: Discriminative Estimator of Mutual Information},
author = {Ruizhi Liao and Daniel Moyer and Polina Golland and William M. Wells},
journal= {arXiv preprint arXiv:2010.01766},
year = {2020}
}