面向非自回归神经机器翻译的任务级课程学习
计算与语言
2020-07-20 v1 机器学习
摘要
非自回归翻译（NAT）相比自回归翻译（AT）实现了更快的推理速度，但代价是准确率较低。由于 AT 与 NAT 可共享模型结构，且 AT 因对先前目标端词元的显式依赖而比 NAT 更容易，一个自然的想法是逐步将模型训练从较易的 AT 任务转移到较难的 NAT 任务。为平滑从 AT 训练到 NAT 训练的过渡，本文引入半自回归翻译（SAT）作为中间任务。SAT 包含一个超参数 k，每个 k 值定义一个具有不同并行度的 SAT 任务。特别地，SAT 以 AT 和 NAT 为其特例：当 k = 1 时退化为 AT，当 k = N（N 为目标句长度）时退化为 NAT。我们设计课程调度方案，利用不同的步调函数与同时训练的任务数，将 k 从 1 逐步转移到 N。我们将该方法称为面向 NAT 的任务级课程学习（TCL-NAT）。在 IWSLT14 De-En、IWSLT16 En-De、WMT14 En-De 与 De-En 数据集上的实验表明，TCL-NAT 相较先前 NAT 基线取得显著准确率提升，并将 NAT 与 AT 模型间的性能差距缩小至 1-2 个 BLEU 点，证明了所提方法的有效性。
引用
@article{arxiv.2007.08772,
title = {Task-Level Curriculum Learning for Non-Autoregressive Neural Machine Translation},
author = {Jinglin Liu and Yi Ren and Xu Tan and Chen Zhang and Tao Qin and Zhou Zhao and Tie-Yan Liu},
journal= {arXiv preprint arXiv:2007.08772},
year = {2020}
}
备注
Accepted at IJCAI 2020 Main Track. Sole copyright holder is IJCAI