英语对比学习可学习通用跨语言句子嵌入
计算与语言
2022-11-14 v1 人工智能
摘要
通用跨语言句子嵌入将语义相似的跨语言句子映射到共享的嵌入空间中。对齐跨语言句子嵌入通常需要有监督的跨语言平行句对。在本工作中，我们提出mSimCSE，将SimCSE扩展到多语言设置，并揭示仅对英语数据进行对比学习即可在无需任何平行数据的情况下惊人地学习到高质量的通用跨语言句子嵌入。在无监督与弱监督设置下，mSimCSE在跨语言检索与多语言STS任务上显著优于以往的句子嵌入方法。无监督mSimCSE在检索低资源语言及多语言STS上的性能可与全监督方法相媲美。当跨语言NLI数据可用时，性能可进一步提升。我们的代码已公开于https://github.com/yaushian/mSimCSE。
引用
@article{arxiv.2211.06127,
title = {English Contrastive Learning Can Learn Universal Cross-lingual Sentence Embeddings},
author = {Yau-Shian Wang and Ashley Wu and Graham Neubig},
journal= {arXiv preprint arXiv:2211.06127},
year = {2022}
}
备注
accepted by EMNLP 2022