多模态对比学习适应共享潜变量的内在维度
机器学习
2025-05-20 v1 机器学习
统计理论
统计理论
摘要
多模态对比学习作为自监督表征学习技术，已在基础模型训练中取得巨大成功，如 CLIP。本文超越线性表征和特定数据分布，研究多模态对比学习所学习表征的理论属性。我们的分析揭示，借助温度优化，多模态对比学习不仅最大化模态间的互信息，还能适应数据的内在维度，这些维度远小于用户指定的表征向量维度。实验在合成数据和真实世界数据集上表明，对比学习学习低维且信息丰富表征的能力，桥接了理论见解与实际性能。
引用
@article{arxiv.2505.12473,
title = {Multi-modal contrastive learning adapts to intrinsic dimensions of shared latent variables},
author = {Yu Gui and Cong Ma and Zongming Ma},
journal= {arXiv preprint arXiv:2505.12473},
year = {2025}
}