有向无环图中用于非自回归机器翻译的模糊对齐
计算与语言
2023-07-18 v2
摘要
非自回归翻译（NAT）降低了解码延迟，但因多模态问题而存在性能下降。近来，有向无环图结构在 NAT 中取得巨大成功，其通过引入顶点间依赖关系来解决多模态问题。然而，使用负对数似然损失训练该结构隐式要求参考词元与顶点间的严格对齐，削弱了其处理多种翻译模态的能力。本文认为图中所有路径均与参考句子模糊对齐。我们不要求精确对齐，而是训练模型最大化图与参考之间的模糊对齐分数，该分数将各模态中已捕获的翻译均纳入考虑。在主要 WMT 基准上的大量实验表明，我们的方法显著提升了翻译性能并增强了预测置信度，在原始训练数据上确立了 NAT 的新最优水平。
引用
@article{arxiv.2303.06662,
title = {Fuzzy Alignments in Directed Acyclic Graph for Non-Autoregressive Machine Translation},
author = {Zhengrui Ma and Chenze Shao and Shangtong Gui and Min Zhang and Yang Feng},
journal= {arXiv preprint arXiv:2303.06662},
year = {2023}
}
备注
ICLR 2023