结合静态与上下文化多语言嵌入
计算与语言
2022-03-18 v1
摘要
静态与上下文化多语言嵌入具有互补优势。静态嵌入虽然比上下文语言模型表达能力弱，但可以更直接地在多种语言间对齐。我们结合静态与上下文模型的优势以改进多语言表示。我们从XLM-R中提取40种语言的静态嵌入，通过跨语言词检索验证这些嵌入，然后使用VecMap对其进行对齐。这产生了高质量、高度多语言的静态嵌入。接着我们应用一种新颖的XLM-R持续预训练方法，利用我们静态嵌入的高质量对齐来更好地对齐XLM-R的表示空间。我们展示了在多个复杂语义任务上的积极结果。我们发布了静态嵌入和持续预训练代码。与大多数先前工作不同，我们的持续预训练方法不需要平行文本。
引用
@article{arxiv.2203.09326,
title = {Combining Static and Contextualised Multilingual Embeddings},
author = {Katharina Hämmerl and Jindřich Libovický and Alexander Fraser},
journal= {arXiv preprint arXiv:2203.09326},
year = {2022}
}
备注
Accepted to Findings of ACL 2022