AligNART:通过联合学习估计对齐与翻译实现非自回归神经机器翻译
计算与语言
2021-09-15 v1 人工智能
摘要
非自回归神经机器翻译(NART)模型受到多模态问题的困扰,该问题导致如词元重复等翻译不一致。近期大多数方法试图通过隐式建模输出间的依赖关系来解决此问题。在本文中,我们引入 AligNART,其利用完整的对齐信息来显式降低目标分布的模态。AligNART 将机器翻译任务划分为 对齐估计与 使用对齐解码器输入的翻译,引导解码器专注于简化的一对一翻译。为缓解对齐估计问题,我们进一步提出一种新颖的对齐分解方法。我们的实验表明,在 WMT14 EnDe 和 WMT16 RoEn 上,AligNART 优于先前专注于显式模态降低的非迭代 NART 模型。此外,在 WMT14 EnDe 上,AligNART 取得了与最先进的基于连接主义时序分类的模型相当的 BLEU 分数。我们还观察到,即使在没有序列级知识蒸馏的情况下,AligNART 也有效解决了词元重复问题。
引用
@article{arxiv.2109.06481,
title = {AligNART: Non-autoregressive Neural Machine Translation by Jointly Learning to Estimate Alignment and Translate},
author = {Jongyoon Song and Sungwon Kim and Sungroh Yoon},
journal= {arXiv preprint arXiv:2109.06481},
year = {2021}
}
备注
Accepted by EMNLP 2021