通过对抗学习在低资源神经机器翻译中利用多语性
计算与语言
2023-04-03 v1
摘要
生成对抗网络（GAN）为神经机器翻译（NMT）提供了一种有前景的方法。然而，在训练期间将多种形态学语言输入单一模型会降低NMT的性能。在GAN中，与双语模型类似，多语NMT在模型训练期间仅为每个句子考虑一个参考译文。这一单一参考译文限制了GAN模型学习关于源句表示的充分信息。因此，在本文中，我们提出基于去噪对抗自编码器的句子插值（DAASI）方法，通过学习多语言语言对的源句与目标句的中间潜在表示来执行句子插值。除潜在表示外，我们还通过纳入多语言模型生成的句子进行奖励计算，将Wasserstein-GAN方法用于多语NMT模型。该计算的奖励以有效方式优化了基于GAN的多语模型的性能。我们在低资源语言对上进行了实验，发现我们的方法以高达4个BLEU点的性能增益优于现有的最先进多语NMT方法。此外，我们在无监督场景下将训练模型用于零样本语言对，并展示了所提方法的鲁棒性。
引用
@article{arxiv.2303.18011,
title = {Exploiting Multilingualism in Low-resource Neural Machine Translation via Adversarial Learning},
author = {Amit Kumar and Ajay Pratap and Anil Kumar Singh},
journal= {arXiv preprint arXiv:2303.18011},
year = {2023}
}
备注
10 pages, 4 figures