探索神经机器翻译中迁移学习的益处
计算与语言
2020-01-07 v1 神经与进化计算
摘要
神经机器翻译已知需要大量平行训练句对，这通常阻碍其在低资源语言对上取得优异表现。本论文探索在神经网络上使用跨语言迁移学习，作为解决资源匮乏问题的一条途径。我们提出若干迁移学习方法以复用在高资源语言对上预训练的模型。我们特别关注技术的简洁性。我们研究两种场景：(a) 当我们不加任何事先修改地复用高资源模型时；(b) 当我们可提前为迁移学习准备第一阶段高资源模型时。对于前者，我们给出一种复用其他研究者所训练模型的概念验证方法。在后者中，我们给出一种在翻译性能上取得更大提升的方法。除所提技术外，我们聚焦于对迁移学习技术的深入分析，并试图阐明迁移学习带来的改进。我们展示了我们的技术如何解决低资源语言的特定问题，并甚至适用于高资源迁移学习。我们通过研究不同情境下的迁移学习（例如人工损坏的训练语料下，或固定不同模型部分时）来评估其潜在缺陷与行为。
引用
@article{arxiv.2001.01622,
title = {Exploring Benefits of Transfer Learning in Neural Machine Translation},
author = {Tom Kocmi},
journal= {arXiv preprint arXiv:2001.01622},
year = {2020}
}
备注
Defended PhD thesis