利用示例引导神经机器翻译学习复用译文
泛函分析
2019-11-26 v1
摘要
本文研究使神经机器翻译（NMT）能够在目标预测中复用相似示例的先前译文的问题。从噪声片段中区分可复用译文并学习在 NMT 中复用它们并非易事。为解决这些挑战，我们提出一种示例引导 NMT（EGNMT）框架，包含两种模型：（1）噪声掩码编码器模型，其根据词对齐将噪声词掩码，并通过额外的示例编码器对噪声掩码句子进行编码；（2）辅助解码器模型，其通过与原解码器共享参数的辅助解码器预测可复用词。我们基于最先进的 Transformer 定义并实现了这两种模型。实验表明，噪声掩码编码器模型使 NMT 能够从模糊匹配分数（FMS）较低的示例中学习有用信息，而辅助解码器模型善于处理高 FMS 示例。在汉英、英德和英西翻译上的更多实验表明，两种 EGNMT 模型的组合相比基线系统可提升高达 +9 BLEU 点，相比双编码器 Transformer 可提升 +7 BLEU 点。
引用
@article{arxiv.1911.10733,
title = {Variants of Ando--Hiai type inequalities for deformed means and applications},
author = {Mohsen Kian and M. S. Moslehian and Yuki Seo},
journal= {arXiv preprint arXiv:1911.10733},
year = {2019}
}