ChrEn：面向濒危语言振兴的切罗基语-英语机器翻译
计算与语言
2020-10-13 v1 人工智能
摘要
切罗基语是切罗基人使用的一种高度濒危的北美原住民语言。切罗基文化深深植根于其语言之中。然而，世界上仅剩约 2000 名流利的切罗基语母语者，且人数每年都在下降。为帮助拯救这一濒危语言，我们引入了 ChrEn，一个切罗基语-英语平行数据集，以促进切罗基语与英语之间的机器翻译研究。与一些流行的机器翻译语言对相比，ChrEn 是极低资源的，仅总共包含 14k 个句子对。我们以有助于领域内和领域外评估的方式划分平行数据。我们还收集了 5k 切罗基语单语数据以启用半监督学习。除这些数据集外，我们提出了若干切罗基语-英语和英语-切罗基语机器翻译系统。我们比较了 SMT（基于短语）与 NMT（基于 RNN 和基于 Transformer）系统；监督与半监督（通过语言模型、回译和 BERT/多语言 BERT）方法；以及迁移学习与含其他 4 种语言的多语言联合训练。我们的最佳结果分别为领域内和领域外 Chr-En/EnChr 翻译的 15.8/12.7 BLEU 和 6.5/5.0 BLEU，我们希望我们的数据集和系统能鼓励社区未来为切罗基语振兴开展工作。我们的数据、代码和演示将在 https://github.com/ZhangShiyue/ChrEn 公开可用。
引用
@article{arxiv.2010.04791,
title = {ChrEn: Cherokee-English Machine Translation for Endangered Language Revitalization},
author = {Shiyue Zhang and Benjamin Frey and Mohit Bansal},
journal= {arXiv preprint arXiv:2010.04791},
year = {2020}
}
备注
EMNLP 2020 (19 pages)