情感韵律在神经机器翻译中的效用

神经机器翻译（NMT）是利用训练好的神经网络将文本从一种语言翻译成另一种语言的任务。现有工作致力于将外部信息（如礼貌、性别等）融入NMT模型以改进或控制预测结果。本文提出利用另一种外部信息源——语音中自动识别出的情感——来提升翻译质量。该工作的动机源于一个假设：每种情感都与特定的、可能重叠的词汇集相关联。我们提出的方法分为两个阶段。首先，我们选择一个最先进的语音情感识别（SER）模型，从数据集中所有输入音频中提取维度情感值。然后，我们将这些预测出的情感作为源语言的标记（token）添加到输入文本之前，用于训练NMT模型。实验结果表明，将情感信息（尤其是唤醒度）整合到NMT模型中，能够带来更好的翻译性能。