论对比损失在多模态学习中的重要性
机器学习
2023-04-10 v1 计算与语言
计算机视觉与模式识别
摘要
近来，对比学习方法（例如 CLIP（Radford et al., 2021））在多模态学习中取得巨大成功，其中模型试图缩小同一数据点不同视图（例如图像及其描述）表示之间的距离，同时使不同数据点的表示彼此远离。然而，从理论角度看，尚不清楚对比学习如何高效地从不同视图学习表示，尤其当数据各向异性时。本工作中，我们分析了一个简单多模态对比学习模型的训练动态，并表明对比样本对对于模型高效平衡所学表示十分重要。具体而言，我们表明正样本对将驱动模型对齐表示，代价是条件数增大，而负样本对将减小条件数，保持所学表示的平衡。
引用
@article{arxiv.2304.03717,
title = {On the Importance of Contrastive Loss in Multimodal Learning},
author = {Yunwei Ren and Yuanzhi Li},
journal= {arXiv preprint arXiv:2304.03717},
year = {2023}
}