面向低资源神经机器翻译迁移的通用父模型
计算与语言
2019-09-23 v2
摘要
从高资源语言对“父”向低资源语言对“子”迁移学习，已被证明是提升低资源神经机器翻译质量的有效途径。然而，先前方法为每个待训练的子语言对构建定制父模型，或至少更新已有父模型的词表以对齐父子词表。这并非实用方案。将新语言对的大部分训练时间耗费在与无关数据集上优化参数是一种浪费。此外，此开销降低了神经机器翻译在人道主义援助场景中部署的效用，因为部署新语言对的额外时间可能意味着生死之别。本工作中，我们提出一种具固定词表的“通用”预训练神经父模型，可作为训练几乎任意新低资源语言至固定目标语言的起点。我们证明，我们的方法利用正字法统一与广覆盖的子词识别策略，能很好地泛化至来自多种语系的若干语言，且基于该方法构建的翻译系统比竞争方法构建更快、质量更优。
引用
@article{arxiv.1909.06516,
title = {A Universal Parent Model for Low-Resource Neural Machine Translation Transfer},
author = {Mozhdeh Gheini and Jonathan May},
journal= {arXiv preprint arXiv:1909.06516},
year = {2019}
}