CLUB：互信息的对比对数比上界
机器学习
2020-07-27 v6 机器学习
摘要
互信息（MI）最小化在各种机器学习任务中引起了广泛关注。然而，在高维空间中估计和最小化 MI 仍然是一个具有挑战性的问题，特别是当仅能获取样本而非分布形式时。先前的工作主要集中在 MI 下界近似上，这不适用于 MI 最小化问题。在本文中，我们提出了一种新颖的互信息对比对数比上界（CLUB）。我们提供了关于 CLUB 及其变分近似的性质的理论分析。基于该上界，我们引入了一种 MI 最小化训练方案，并利用负采样策略进一步加速。对高斯分布的模拟研究表明了 CLUB 可靠的估计能力。包括域适应和信息瓶颈在内的真实世界 MI 最小化实验证明了所提方法的有效性。代码位于 https://github.com/Linear95/CLUB。
引用
@article{arxiv.2006.12013,
title = {CLUB: A Contrastive Log-ratio Upper Bound of Mutual Information},
author = {Pengyu Cheng and Weituo Hao and Shuyang Dai and Jiachang Liu and Zhe Gan and Lawrence Carin},
journal= {arXiv preprint arXiv:2006.12013},
year = {2020}
}
备注
Accepted by the 37th International Conference on Machine Learing (ICML2020)