基于类概率分布的生成式建模用于多模态表征学习

多模态理解是人工智能中的关键环节，可实现对来自不同模态的输入进行联合解释。然而，传统方法（如对比学习）常常在模态差异方面难题，导致潜在的误对齐。本文提出一种新颖的类锚对齐方法，利用类概率分布进行多模态表征学习。我们的方法，Class-anchor-ALigned generative Modeling（CALM），将类锚编码为提示，用于生成和对齐各模态的类概率分布，从而实现更有效的对齐。此外，我们引入了跨模态概率变分自编码器，以建模对齐中的不确定性，增强捕捉模态之间及数据变异关系的能力。广泛的实验表明，在四个基准数据集上，我们的方法显著优于当前最先进的方法，尤其在跨域评估中表现突出。这一结果凸显了其在多模态表征学习中的优越泛化能力。