多语上下文表示改善跨语言迁移

Phoebe Mulcaire; Jungo Kasai; Noah A. Smith

多语上下文表示改善跨语言迁移

计算与语言 2019-03-20 v2

作者: Phoebe Mulcaire , Jungo Kasai , Noah A. Smith

摘要

我们介绍了 Rosita，一种通过在多种语言文本上训练单一语言模型来生成多语言上下文词表示的方法。我们的方法将上下文词表示的优点与多语言表示学习的优点相结合。我们从差异较大的语言对（英语/阿拉伯语和英语/汉语）生成语言模型，并将其用于依存句法分析、语义角色标注和命名实体识别，与单语和非上下文变体进行比较。我们的结果进一步证明了多语学习（即表示在多种语言间共享）的益处。

关键词

多语言上下文表示跨语言迁移语言模型多语学习依存句法分析语义角色标注命名实体识别

引用

@article{arxiv.1902.09697,
  title  = {Polyglot Contextual Representations Improve Crosslingual Transfer},
  author = {Phoebe Mulcaire and Jungo Kasai and Noah A. Smith},
  journal= {arXiv preprint arXiv:1902.09697},
  year   = {2019}
}

备注

NAACL 2019

多语上下文表示改善跨语言迁移

摘要

关键词

引用

备注

相关论文