解码多模态对比学习中的模态间隙：从收敛表征到成对对齐
机器学习
2025-10-09 v2 人工智能
摘要
多模态对比学习（MCL）旨在将不同模态的数据嵌入到共享的嵌入空间中。然而，实证证据表明，不同模态的表征占据嵌入空间的完全分离的区域，称为模态间隙（modality gap）。此外，对模态间隙大小如何影响下游性能的实验发现不一致。这些观察引出两个关键问题：（1）模态间隙的根源是什么？（2）它如何影响下游任务？为此，本文引入了第一个针对 MCL 收敛最优表征及训练时模态对齐的理论框架。具体地，我们证明在无任何约束或仅受锥形约束时，模态间隙收敛为零。在子空间约束下（即两个模态的表征因维度坍塌落入两个不同的超平面），模态间隙收敛于两个超平面之间的最小夹角。此结果将 \emph{维度坍塌} identified 为模态间隙的根本原因。进一步，我们的定理表明，在子空间约束下，成对的样本无法实现完美对齐。模态间隙通过影响样本对之间的对齐来影响下游性能。我们证明，在这种情况下，仍可通过两种方式实现两个模态之间的完美对齐：超平面旋转和共享空间投影。
引用
@article{arxiv.2510.03268,
title = {Decipher the Modality Gap in Multimodal Contrastive Learning: From Convergent Representations to Pairwise Alignment},
author = {Lingjie Yi and Raphael Douady and Chao Chen},
journal= {arXiv preprint arXiv:2510.03268},
year = {2025}
}