在多语言BERT中寻找语言线索以改进跨语言泛化
计算与语言
2021-11-02 v4 人工智能
摘要
多语言BERT(m-BERT)中的词元嵌入同时包含语言信息与语义信息。我们发现,只需对某一语言的词元嵌入取平均即可获得该语言的表示。给定此语言表示,我们通过操控词元嵌入来控制多语言BERT的输出语言,从而实现无监督词元翻译。我们进一步基于该观察提出一种计算代价低但有效的方法,以改进m-BERT的跨语言能力。
引用
@article{arxiv.2010.10041,
title = {Looking for Clues of Language in Multilingual BERT to Improve Cross-lingual Generalization},
author = {Chi-Liang Liu and Tsung-Yuan Hsu and Yung-Sung Chuang and Chung-Yi Li and Hung-yi Lee},
journal= {arXiv preprint arXiv:2010.10041},
year = {2021}
}
备注
preprint