$f$-MICL：理解和泛化基于 InfoNCE 的对比学习
机器学习
2024-02-16 v1
摘要
在自监督对比学习中，广泛采用的目标函数是 InfoNCE，它使用启发式的余弦相似度进行表示比较，并且与最大化基于 Kullback-Leibler (KL) 的互信息密切相关。在本文中，我们旨在回答两个有趣的问题：(1) 我们能否超越基于 KL 的目标？(2) 除了流行的余弦相似度，我们能否设计更好的相似度函数？我们通过利用 -散度将基于 KL 的互信息泛化为对比学习中的 -互信息（-MICL）来回答这两个问题。为了回答第一个问题，我们提供了一系列 -MICL 目标，它们共享 InfoNCE 的良好特性（例如对齐性和均匀性），同时产生相似甚至更优的性能。对于第二个问题，假设联合特征分布与高斯核成正比，我们推导出了具有更好可解释性和实证性能的 -高斯相似度。最后，我们确定了 -MICL 目标与几种流行的基于 InfoNCE 的目标之间的密切关系。利用来自视觉和自然语言的基准任务，我们在各种架构（SimCLR、MoCo 和 MoCo v3）和数据集上实证评估了具有不同 -散度的 -MICL。我们观察到 -MICL 通常优于基准，且表现最佳的 -散度取决于任务和数据集。
引用
@article{arxiv.2402.10150,
title = {$f$-MICL: Understanding and Generalizing InfoNCE-based Contrastive Learning},
author = {Yiwei Lu and Guojun Zhang and Sun Sun and Hongyu Guo and Yaoliang Yu},
journal= {arXiv preprint arXiv:2402.10150},
year = {2024}
}
备注
Accepted to TMLR in 2023