基于短语与神经机器翻译的实证分析

机器翻译(MT)的两种流行类型是基于短语的和神经机器翻译系统。这两类系统均由多个复杂模型或层组成。这些模型与层各自学习源语言的不同语言现象。然而，对于其中部分模型与层，尚不清楚学到了哪些语言现象或如何学到这些信息。对于基于短语的MT系统，通常清楚每个模型学到了什么信息，问题反倒在于这些信息是如何学到的，尤其对其短语重排序模型而言。对于神经机器翻译系统，情况更为复杂，因为在许多情况下并不确切清楚学到了什么信息以及是如何学到的。为阐明MT系统捕获了哪些语言现象，我们分析了基于短语与神经MT系统中重要模型的行为。我们考虑基于短语的MT系统中的短语重排序模型，以探究短语内部哪些词对定义短语重排序行为影响最大。此外，为有助于神经MT系统的可解释性，我们研究注意力模型的行为，它是神经MT系统的关键组件，且在功能上最接近基于短语系统中的短语重排序模型。注意力模型与编码器隐状态表示共同构成神经MT中编码源端语言信息的主要组件。为此，我们还分析了神经MT系统编码器隐状态表示中所捕获的信息。我们考察了不同神经MT架构的隐状态表示在多大程度上捕获了来自源端的句法与词汇-语义信息。