使用扰动长度感知位置编码的非自回归神经机器翻译
计算与语言
2021-07-30 v1
摘要
非自回归神经机器翻译（NAT）通常采用以自回归神经机器翻译（AT）为教师模型的序列级知识蒸馏。然而，NAT 模型常输出比 AT 模型更短的句子。本工作中，我们提出使用扰动长度感知位置编码的序列级知识蒸馏（SKD），并将其应用于学生模型 Levenshtein Transformer。我们的方法在 WMT14 德英翻译中以双语评估替补（BLEU）计最多超越标准 Levenshtein Transformer 2.5 个点。该 NAT 模型比基线 NAT 模型输出更长的句子。
引用
@article{arxiv.2107.13689,
title = {Using Perturbed Length-aware Positional Encoding for Non-autoregressive Neural Machine Translation},
author = {Yui Oka and Katsuhito Sudoh and Satoshi Nakamura},
journal= {arXiv preprint arXiv:2107.13689},
year = {2021}
}
备注
5 pages, 1 figures. Will be presented at ACL SRW 2021