InfoNCE：揭示理论与实践之间的差距
机器学习
2025-04-17 v2 计算机视觉与模式识别
机器学习
摘要
先前的对比学习理论工作通过 InfoNCE 损失表明，在 certain 假设下，学习到的表征能够恢复真实的潜在因子。我们认为这些理论忽略了对比学习在实际部署中至关重要的方面。具体而言，它们要么假设所有潜在因子的方差相等，要么假设某些潜在因子保持不变。然而在实际应用中，正样本对常常通过诸如强裁剪至仅几像素的增强方式生成。因此，更现实的假设是所有潜在因子都以连续可变性变化。我们引入 AnInfoNCE，这是 InfoNCE 的一种推广，能够在该各向异性设置下可证明地揭示潜在因子，广泛地概括了对比学习中先前可辨识性结果。我们在受控实验中验证了可辨识性结果，表明 AnInfoNCE 在恢复 CIFAR10 和 ImageNet 上之前被压缩信息方面取得了提升，尽管以下游准确率为代价。最后，我们讨论了理论假设与实际实现之间剩余的不匹配。
引用
@article{arxiv.2407.00143,
title = {InfoNCE: Identifying the Gap Between Theory and Practice},
author = {Evgenia Rusak and Patrik Reizinger and Attila Juhos and Oliver Bringmann and Roland S. Zimmermann and Wieland Brendel},
journal= {arXiv preprint arXiv:2407.00143},
year = {2025}
}