ENGINE：基于能量的非自回归机器翻译推理网络
计算与语言
2020-05-14 v2 机器学习
摘要
我们提出训练一个非自回归机器翻译模型，以最小化由预训练自回归模型所定义的能量。具体而言，我们将非自回归翻译系统视为一个推理网络（Tu and Gimpel, 2018），训练其最小化自回归教师模型的能量。这与在由该教师模型集束搜索输出组成的蒸馏语料上训练非自回归模型的流行做法形成对比。我们将此方法称为 ENGINE（基于能量的推理网络，ENerGy-based Inference NEtworks），其在 IWSLT 2014 DE-EN 和 WMT 2016 RO-EN 数据集上取得了最先进的（SOTA）非自回归结果，逼近自回归模型的性能。
引用
@article{arxiv.2005.00850,
title = {ENGINE: Energy-Based Inference Networks for Non-Autoregressive Machine Translation},
author = {Lifu Tu and Richard Yuanzhe Pang and Sam Wiseman and Kevin Gimpel},
journal= {arXiv preprint arXiv:2005.00850},
year = {2020}
}
备注
ACL 2020 camera-ready version