解析 InfoNCE：由转移概率矩阵诱导的特征聚类
机器学习
2025-11-18 v1 机器学习
摘要
对比学习已成为视觉、语言和图表示领域中无监督表征学习的核心方法，InfoNCE 作为其主导目标函数虽已取得实证成功，但理论基础仍有限。本文引入显式特征空间以建模样本的增强视图，并引入转移概率矩阵来捕捉数据增强动力学。我们展示，InfoNCE 优化的是两个视图共享同一来源的概率，使其趋于由该矩阵定义的常数目标，从而自然诱导表征空间中的特征聚类。基于这一洞察，我们提出了规模化收敛 InfoNCE(SC-InfoNCE)，一种新的损失函数，引入可调的收敛目标，以灵活控制特征相似度对齐。通过对目标矩阵进行比例缩放，SC-InfoNCE 实现了对特征相似度对齐的灵活控制，使训练目标更好地匹配下游数据的统计特性。在包括图像、图和文本等基准数据集上的实验表明，SC-InfoNCE 在 diverse 领域 consistently 取得强大且可靠的性能。
引用
@article{arxiv.2511.12180,
title = {Understanding InfoNCE: Transition Probability Matrix Induced Feature Clustering},
author = {Ge Cheng and Shuo Wang and Yun Zhang},
journal= {arXiv preprint arXiv:2511.12180},
year = {2025}
}
备注
31 pages, 8 figures