基于 Cauchy-Schwarz 散度的分布级视觉-语言对齐
机器学习
2026-02-25 v3 人工智能
摘要
视觉-语言对齐对于跨模态生成和检索等各种下游任务至关重要。以往的多模态方法（如 CLIP）利用 InfoNCE 最大化互信息，主要对齐跨模态的成对样本，却忽略了分布差异。此外，InfoNCE 在多模态的对齐性和均匀性方面存在内在冲突，导致存在模态鸿沟情况下的对齐效果次优。为了克服这些局限性，我们提出了 CS-Aligner，这是一个通过将 Cauchy-Schwarz (CS) 散度与互信息相结合来执行分布级视觉-语言对齐的新颖框架。CS-Aligner 捕获了每种模态的全局分布信息和成对的语义关系。我们发现，CS 散度能够无缝解决 InfoNCE 的对齐-均匀性冲突，并与 InfoNCE 发挥互补作用，从而产生更紧密、更精确的对齐。此外，通过引入分布级对齐，CS-Aligner 能够结合来自未配对数据和词元级表示的额外信息，在实践中增强了灵活且细粒度的对齐。在文本到图像生成和跨模态检索任务上的实验证明了我们方法在视觉-语言对齐上的有效性。
引用
@article{arxiv.2502.17028,
title = {Distributional Vision-Language Alignment by Cauchy-Schwarz Divergence},
author = {Wenzhe Yin and Zehao Xiao and Pan Zhou and Shujian Yu and Jiayi Shen and Jan-Jakob Sonke and Efstratios Gavves},
journal= {arXiv preprint arXiv:2502.17028},
year = {2026}
}
备注
Accepted by ICLR2026