面向表示学习的互信息梯度估计
机器学习
2020-05-05 v1 计算机视觉与模式识别
机器学习
摘要
互信息(Mutual Information, MI)在表示学习中起着重要作用。然而,在连续和高维情形下,MI 往往难以处理。近期的进展建立了可处理且可扩展的 MI 估计器以发现有用的表示。然而,现有大多数方法在 MI 较大时无法提供低方差的准确 MI 估计。我们认为,对于表示学习而言,直接估计 MI 的梯度比估计 MI 本身更具吸引力。为此,我们基于隐式分布的得分估计,提出了用于表示学习的互信息梯度估计器(Mutual Information Gradient Estimator, MIGE)。MIGE 在高维和大 MI 设定下展现出紧致且平滑的 MI 梯度估计。我们将 MIGE 应用于基于 InfoMax 的深度表示无监督学习以及信息瓶颈方法。实验结果表明,其在学习有用表示方面取得了显著的性能提升。
引用
@article{arxiv.2005.01123,
title = {Mutual Information Gradient Estimation for Representation Learning},
author = {Liangjian Wen and Yiji Zhou and Lirong He and Mingyuan Zhou and Zenglin Xu},
journal= {arXiv preprint arXiv:2005.01123},
year = {2020}
}
备注
ICLR 2020