助弱令己强：简单多任务学习改进非自回归翻译模型
计算与语言
2022-11-14 v1
摘要
近年来，非自回归（NAR）神经机器翻译模型因其高效的并行解码而受到越来越多的关注。然而，NAR 模型的概率框架需要对目标序列作条件独立假设，难以刻画人类语言数据。这一缺陷导致在常规 MLE 训练下 NAR 模型获得的学习信号信息量不足，从而相较自回归（AR）模型准确率不尽人意。本文提出一种简单且模型无关的多任务学习框架以提供更富信息量的学习信号。在训练阶段，我们引入一组充分弱的 AR 解码器，其仅依赖 NAR 解码器提供的信息进行预测，迫使 NAR 解码器变得更强，否则将无法支撑其弱的 AR 伙伴。在 WMT 与 IWSLT 数据集上的实验表明，我们的方法能持续提升多个 NAR 基线的准确率，且不引入任何额外解码开销。
引用
@article{arxiv.2211.06075,
title = {Helping the Weak Makes You Strong: Simple Multi-Task Learning Improves Non-Autoregressive Translators},
author = {Xinyou Wang and Zaixiang Zheng and Shujian Huang},
journal= {arXiv preprint arXiv:2211.06075},
year = {2022}
}
备注
Accepted by EMNLP 2022