面向自动配音的等时性感知神经机器翻译

我们引入等时性感知机器翻译任务，旨在生成适合配音的译文。口语句子的配音需要将源语言的内容以及语音停顿结构迁移到目标语言，以实现视听一致性。实践中，这意味着将停顿从源语言正确投射到目标语言，并确保目标语音片段与对应源语音片段的时长大致相同。在本文中，我们提出隐式与显式建模方法，将等时性信息整合进神经机器翻译。在英语-德语/法语语言对上使用自动指标的 experiments 表明，所考虑方法中最简单的一种效果最佳。翻译与配音视频的人工评估证实了该结果。