面向可靠神经机器翻译的一致性感知元学习
计算与语言
2023-09-20 v2
摘要
神经机器翻译(NMT)在生成高质量译文方面已取得显著成功。然而,当前的 NMT 系统缺乏可靠性,因为其输出常受输入中词汇或句法变化的影响,导致质量出现较大波动。这一局限阻碍了 NMT 的实用性与可信度。造成该问题的一个因素是,以一对一范式训练的 NMT 模型难以处理源端多样性现象,即含义相同的输入可有不同表达。本工作中,我们将此问题视为双层优化问题,并提出源自模型无关元学习(MAML)算法的一致性感知元学习(CAML)框架加以解决。具体而言,采用 CAML 的 NMT 模型(称为 CoNMT)首先在外层循环中学习语义等价句子的的一致性元表示;随后在内层循环学习从该元表示到输出句子的映射,使 NMT 模型能将语义等价句子翻译为同一目标句。我们在 NIST 中英任务、三个 WMT 翻译任务及 TED M2O 任务上开展实验。结果表明 CoNMT 有效提升了整体翻译质量,并能可靠处理多样化输入。
引用
@article{arxiv.2303.10966,
title = {Towards Reliable Neural Machine Translation with Consistency-Aware Meta-Learning},
author = {Rongxiang Weng and Qiang Wang and Wensen Cheng and Changfeng Zhu and Min Zhang},
journal= {arXiv preprint arXiv:2303.10966},
year = {2023}
}