关于互信息估计的对比性预测编码
机器学习
2025-10-31 v1 信息论
math.IT
机器学习
摘要
InfoNCE目标函数最初引入于对比表征学习，已成为流行的互信息(MI)估计方法，尽管其与MI之间存在间接关联。本文证明InfoNCE不应被视为有效的MI估计器，我们提出一种简单修改方法，即InfoNCE-anchor，以实现准确的MI估计。我们的修改引入了辅助锚点类，使密度比估计一致，生成偏差显著降低的插值式MI估计器。此外，我们通过proper scoring rules推广了该框架，其中当采用对数评分函数时，InfoNCE-anchor作为特例。该表述在单一原则框架下统一了广泛的对比目标，包括NCE、InfoNCE和 -divergence变体。实验表明，采用对数评分函数的InfoNCE-anchor能够获得最准确的MI估计；然而，在自监督表征学习实验中，我们发现锚点并未提升下游任务性能。这些发现证实，对比表征学习的优势并不源于对准MI估计本身，而是源于结构化密度比的学习。
引用
@article{arxiv.2510.25983,
title = {Contrastive Predictive Coding Done Right for Mutual Information Estimation},
author = {J. Jon Ryu and Pavan Yeddanapudi and Xiangxiang Xu and Gregory W. Wornell},
journal= {arXiv preprint arXiv:2510.25983},
year = {2025}
}
备注
26 pages, 5 figures