中文

AligNART:通过联合学习估计对齐与翻译实现非自回归神经机器翻译

计算与语言 2021-09-15 v1 人工智能

摘要

非自回归神经机器翻译(NART)模型受到多模态问题的困扰,该问题导致如词元重复等翻译不一致。近期大多数方法试图通过隐式建模输出间的依赖关系来解决此问题。在本文中,我们引入 AligNART,其利用完整的对齐信息来显式降低目标分布的模态。AligNART 将机器翻译任务划分为 (i)(i) 对齐估计与 (ii)(ii) 使用对齐解码器输入的翻译,引导解码器专注于简化的一对一翻译。为缓解对齐估计问题,我们进一步提出一种新颖的对齐分解方法。我们的实验表明,在 WMT14 En\leftrightarrowDe 和 WMT16 Ro\rightarrowEn 上,AligNART 优于先前专注于显式模态降低的非迭代 NART 模型。此外,在 WMT14 En\leftrightarrowDe 上,AligNART 取得了与最先进的基于连接主义时序分类的模型相当的 BLEU 分数。我们还观察到,即使在没有序列级知识蒸馏的情况下,AligNART 也有效解决了词元重复问题。

关键词

引用

@article{arxiv.2109.06481,
  title  = {AligNART: Non-autoregressive Neural Machine Translation by Jointly Learning to Estimate Alignment and Translate},
  author = {Jongyoon Song and Sungwon Kim and Sungroh Yoon},
  journal= {arXiv preprint arXiv:2109.06481},
  year   = {2021}
}

备注

Accepted by EMNLP 2021