将多语言 BERT 扩展至低资源语言
计算与语言
2020-04-29 v1
摘要
多语言 BERT（M-BERT）在有监督与零样本跨语言迁移学习中均取得了巨大成功。然而，这一成功仅聚焦于其训练所基于的 Wikipedia 中排名前 104 的语言。本文中，我们提出一种简单而有效的将 M-BERT 扩展（E-BERT）的方法，使其能惠及任意新语言，并表明我们的方法同样有益于 M-BERT 中已有的语言。我们在 27 种语言上进行了命名实体识别（NER）的广泛实验，其中仅 16 种位于 M-BERT 中，结果显示 M-BERT 中已有语言的平均 F1 提升约 6%，新语言的平均 F1 提升 23%。
引用
@article{arxiv.2004.13640,
title = {Extending Multilingual BERT to Low-Resource Languages},
author = {Zihan Wang and Karthikeyan K and Stephen Mayhew and Dan Roth},
journal= {arXiv preprint arXiv:2004.13640},
year = {2020}
}