面向神经机器翻译远距离领域自适应的词汇适配
计算与语言
2020-11-03 v2
摘要
神经网络方法仅在少数资源丰富的领域中表现出强劲性能。因此，实践者采用从资源丰富领域向目标领域的领域自适应，而后者在大多数情况下与前者相距甚远。然而，远距离领域间的自适应（例如电影字幕与科研论文）由于词汇不匹配而无法有效进行；它会遇到许多领域专属词（如“angstrom”）以及跨领域含义发生偏移的词（如“conductor”）。本研究旨在解决神经机器翻译（NMT）领域自适应中的这些词汇不匹配问题，提出词汇适配——一种通过对给定预训练 NMT 模型中的嵌入层向目标领域适配来实现有效微调的简单方法。在微调之前，我们的方法通过将目标领域单语数据诱导出的通用词嵌入投影到源领域嵌入空间，来替换 NMT 模型的嵌入层。实验结果表明，我们的方法在英日与德英翻译中分别使常规微调性能提升 3.86 和 3.28 个 BLEU 点。
引用
@article{arxiv.2004.14821,
title = {Vocabulary Adaptation for Distant Domain Adaptation in Neural Machine Translation},
author = {Shoetsu Sato and Jin Sakuma and Naoki Yoshinaga and Masashi Toyoda and Masaru Kitsuregawa},
journal= {arXiv preprint arXiv:2004.14821},
year = {2020}
}
备注
9pages + citations