这并非模态间隙：刻画与消除对比性间隙
计算机视觉与模式识别
2024-06-10 v3 计算与语言
信息检索
机器学习
摘要
多模态对比模型如 CLIP 通过在联合表征空间中嵌入输入图像和文本，实现零样本分类的前沿性能。最近报告称，类似 CLIP 的双编码器对比模型存在模态间隙，即图像和文本嵌入在潜在空间中位于互斥区域。以往研究表明，这一间隙源于 1）锥形效应，2）数据集中的不匹配配对，以及 3）训练不足。我们指出，即便考虑到这些因素，并且即便使用相同模态，对比损失在训练过程中实际上会创造这种间隙。因此，我们提出模态间隙本质上是双编码器对比损失的固有现象，应称为对比性间隙（contrastive gap）。我们提供证据表明，这一对比性间隙可归因于 CLIP 空间中的 uniformity 不足，导致嵌入仅占据潜在空间的局部区域。为消除间隙，我们将单模态对比损失中的 uniformity 和 alignment 属性适用于多模态设置，证明仅向 CLIP 损失中添加这些术语即可更均匀地分布嵌入，从而消除间隙。在实验中，我们展示，修改后的表征空间在下游任务（如零样本图像分类和多模态算术）中优于默认 CLIP 损失。
引用
@article{arxiv.2405.18570,
title = {It's Not a Modality Gap: Characterizing and Addressing the Contrastive Gap},
author = {Abrar Fahim and Alex Murphy and Alona Fyshe},
journal= {arXiv preprint arXiv:2405.18570},
year = {2024}
}