用于非自回归机器翻译的有向无环Transformer
计算与语言
2022-05-17 v1
摘要
非自回归Transformer（NAT）通过并行生成所有词元显著降低了解码延迟。然而，这种独立预测使NAT无法捕捉词元之间的依赖关系以生成多种可能的翻译。本文提出有向无环Transformer（DA-Transformer），其将隐藏状态表示于有向无环图（DAG）中，其中DAG的每条路径对应一个特定翻译。整个DAG同时捕捉多种翻译，并以非自回归方式促进快速预测。在WMT基准原始训练数据上的实验表明，DA-Transformer以约平均3个BLEU大幅优于先前的NAT，且是首个在不依赖知识蒸馏的情况下取得与自回归Transformer相当结果的非自回归模型。
引用
@article{arxiv.2205.07459,
title = {Directed Acyclic Transformer for Non-Autoregressive Machine Translation},
author = {Fei Huang and Hao Zhou and Yang Liu and Hang Li and Minlie Huang},
journal= {arXiv preprint arXiv:2205.07459},
year = {2022}
}
备注
accepted at ICML2022