基于对比 Fenchel-Legendre 优化的紧互信息估计
机器学习
2022-10-25 v3 人工智能
信息论
机器学习
math.IT
摘要
InfoNCE 及其变体的成功应用使对比变分互信息（MI）估计器在机器学习中的使用得以普及。尽管具有更优的稳定性，这些估计器关键依赖于代价高昂的大批量训练，且为降低方差而牺牲了界紧性。为克服这些局限，我们从非归一化统计建模与凸优化的视角重审流行变分 MI 界的数学原理。我们的研究不仅给出了涵盖流行变分 MI 界的统一理论框架，还导出了一种新颖、简单且强大的对比 MI 估计器，命名为 FLO。理论上，我们证明 FLO 估计器是紧的，且可在随机梯度下降下证明收敛。经验上，我们的 FLO 估计器克服了其前身的局限并学习效率更高。FLO 的实用性通过广泛基准测试得以验证，同时也揭示了实际 MI 估计中的权衡。
引用
@article{arxiv.2107.01131,
title = {Tight Mutual Information Estimation With Contrastive Fenchel-Legendre Optimization},
author = {Qing Guo and Junya Chen and Dong Wang and Yuewei Yang and Xinwei Deng and Lawrence Carin and Fan Li and Jing Huang and Chenyang Tao},
journal= {arXiv preprint arXiv:2107.01131},
year = {2022}
}