MCSE：句子嵌入的多模态对比学习
计算与语言
2022-04-26 v1
摘要
学习具有语义意义的句子嵌入是自然语言处理中的一个开放问题。在本文中，我们提出了一种句子嵌入学习方法，通过多模态对比目标利用视觉和文本信息。通过在多种语义文本相似度任务上的实验，我们证明我们的方法在各种数据集和预训练编码器上均能持续提升性能。特别是，将少量多模态数据与大型纯文本语料库相结合，我们将最先进的平均Spearman相关性提升了1.7%。通过分析文本嵌入空间的属性，我们表明我们的模型在对齐语义相似的句子方面表现出色，这为其性能的提升提供了解释。
引用
@article{arxiv.2204.10931,
title = {MCSE: Multimodal Contrastive Learning of Sentence Embeddings},
author = {Miaoran Zhang and Marius Mosbach and David Ifeoluwa Adelani and Michael A. Hedderich and Dietrich Klakow},
journal= {arXiv preprint arXiv:2204.10931},
year = {2022}
}
备注
Accepted by NAACL 2022 main conference (short paper), 11 pages