动态融合：面向神经机器翻译的注意力语言模型

神经机器翻译（NMT）可用于生成流畅的输出。因此，语言模型已被研究用于与 NMT 结合。在先前的研究中，使用了两个模型：翻译模型和语言模型。翻译模型的预测结果由语言模型以预先手工设定的比例进行加权。然而，这些方法未能根据翻译历史来采用语言模型加权。在另一类方法中，语言模型的预测通过联合考虑源端与目标端信息被整合进翻译模型。但这类方法存在局限，因为它很大程度上忽略了翻译输出的充分性。为此，本工作采用翻译模型和语言模型两种机制，并以一种注意力架构将语言模型作为翻译模型的辅助组件。与先前在英日机器翻译中使用语言模型的工作相比，所提出的动态融合（Dynamic Fusion）机制在 BLEU 和基于排序的直觉双语评估分数（RIBES）上均取得了提升。此外，在对语言模型的注意力和预测性分析中，动态融合机制实现了符合恰当语法结构的预测性语言建模。