为非自回归机器翻译改写参考译文
计算与语言
2022-12-01 v1
摘要
非自回归神经机器翻译（NAT）模型受多模态问题困扰，即一个源句可能存在多种可能翻译，因此当 NAT 输出更接近其他翻译时，参考句可能不适合作为训练目标。针对该问题，我们引入一个改写器，通过根据 NAT 输出改写参考句，为 NAT 提供更好的训练目标。由于我们基于改写器输出而非参考句训练 NAT，改写器输出应良好契合 NAT 输出且不应偏离参考句过远，这可量化为奖励函数并通过强化学习优化。在主要 WMT 基准和 NAT 基线上的实验表明，我们的方法持续提升了 NAT 的翻译质量。具体而言，我们的最佳变体取得了与自回归 Transformer 相当的性能，同时推理效率提高 14.7 倍。
引用
@article{arxiv.2211.16863,
title = {Rephrasing the Reference for Non-Autoregressive Machine Translation},
author = {Chenze Shao and Jinchao Zhang and Jie Zhou and Yang Feng},
journal= {arXiv preprint arXiv:2211.16863},
year = {2022}
}
备注
AAAI 2023