理解变分互信息估计器的局限性
机器学习
2020-03-25 v2 信息论
math.IT
机器学习
摘要
基于神经网络的变分方法在估计高维变量间互信息（MI）方面展现出前景。然而，由于偏差/方差权衡未被充分理解，它们在实际应用中可能难以使用。我们从理论上证明，在某些条件下，诸如 MINE 的估计器展现出的方差可能随底层真实 MI 量呈指数增长。我们还通过经验证明，现有估计器未能满足 MI 的基本自洽性质，如数据处理性和独立性下的可加性。基于变分方法的统一视角，我们开发了一种专注于方差缩减的新估计器。在标准基准任务上的经验结果表明，我们提出的估计器在标准基准任务上展现出改进的偏差-方差权衡。
引用
@article{arxiv.1910.06222,
title = {Understanding the Limitations of Variational Mutual Information Estimators},
author = {Jiaming Song and Stefano Ermon},
journal= {arXiv preprint arXiv:1910.06222},
year = {2020}
}
备注
Fixed some typos, credit to Yilun Xu