德语–下索布语的无监督翻译：探索低资源语言上的训练与新颖迁移方法
计算与语言
2021-09-27 v1
摘要
本文描述了格罗宁根大学为 WMT 2021 无监督机器翻译任务（德语–下索布语，DE–DSB：从高资源语言到低资源语言）所提交系统背后的方法。我们的系统采用 transformer 编码器–解码器架构，并对标准训练流程做了三处改动。首先，我们的训练一次聚焦于两种语言，这与大量多语言系统研究形成对比。其次，我们引入一种用于初始化未见语言词表的新颖方法，在 DEDSB 上取得 3.2 BLEU 的提升，在 DSBDE 上取得 4.0 BLEU 的提升。最后，我们实验了使用离线与在线反向翻译训练无监督系统的顺序，发现先使用在线反向翻译对 DEDSB 更优，提升 2.76 BLEU。我们的提交在 DSBDE 上排名第一（与另一团队并列），在 DEDSB 上排名第三。
引用
@article{arxiv.2109.12012,
title = {Unsupervised Translation of German--Lower Sorbian: Exploring Training and Novel Transfer Methods on a Low-Resource Language},
author = {Lukas Edman and Ahmet Üstün and Antonio Toral and Gertjan van Noord},
journal= {arXiv preprint arXiv:2109.12012},
year = {2021}
}