在对比学习中利用多语言正例以提升句子嵌入

学习多语言句子嵌入是自然语言处理中的基础任务。近期学习单语言与多语言句子嵌入的趋势主要基于锚点、一个正例与多个负例之间的对比学习（CL）。本文中，我们认为多语言句子嵌入应考虑利用多个正例，因为（1）多样语言中的正例有益于跨语言学习，（2）多个正例间的传递相似性可为学习提供可靠的结构信息。为探究多个正例在 CL 中的影响，我们提出一种新方法 MPCL，有效利用多个正例实例改善多语言句子嵌入的学习。基于多种骨干模型与下游任务的实验结果表明，相较常规 CL，MPCL 带来了更优的检索、语义相似度与分类性能。我们还观察到，在未见语言中，以多个正例训练的句子嵌入模型比以单个正例训练的模型展现出更好的跨语言迁移性能。