通过对象短语对齐提升多模态对比学习的句子嵌入
计算与语言
2025-08-04 v1
摘要
多模态句子嵌入模型通常会在训练中利用图像-文本对，除文本数据外还会引入图像数据。然而，这类数据对常包含噪声，包括图像或文本中冗余或无关的信息。为缓解此问题，我们提出MCSEO方法，通过纳入细粒度对象-短语对齐来增强多模态句子嵌入。具体而言，MCSEO利用现有的分割和目标检测模型提取准确的对象-短语对，然后用于优化针对对象-短语对应性的对比学习目标。在不同骨干模型上的语义文本相似性（STS）任务实验结果表明，MCSEO consistently优于强基线，凸显了在多模态表征学习中精确对象-短语对齐的重要性。
引用
@article{arxiv.2508.00332,
title = {Improving Multimodal Contrastive Learning of Sentence Embeddings with Object-Phrase Alignment},
author = {Kaiyan Zhao and Zhongtao Miao and Yoshimasa Tsuruoka},
journal= {arXiv preprint arXiv:2508.00332},
year = {2025}
}
备注
Work in progress