在神经机器翻译训练中利用对比标记增强监督学习
计算与语言
2023-07-18 v1
摘要
神经机器翻译（NMT）中的监督学习通常遵循教师强制范式，其中参考词元构成模型预测中的条件上下文，而非模型自身的先前预测。为缓解翻译空间探索的不足，我们提出了一种对标准最大似然估计的简单扩展，即引入对比标记目标。额外的训练信号通过对比系统假设与参考译文自动从参考译文中提取，并用于对正确/错误词元进行加权/降权。所提出的新训练过程每个 epoch 需要对训练集进行一次额外的翻译遍历，且不改变标准推理设置。我们表明，使用对比标记训练能在监督学习基础上带来改进，并且在从译后编辑中学习时尤为有用，此时对比标记指示了对原始假设的人工错误修正。代码已公开发布。
引用
@article{arxiv.2307.08416,
title = {Enhancing Supervised Learning with Contrastive Markings in Neural Machine Translation Training},
author = {Nathaniel Berger and Miriam Exel and Matthias Huck and Stefan Riezler},
journal= {arXiv preprint arXiv:2307.08416},
year = {2023}
}
备注
Proceedings of the 24th Annual Conference of the European Association for Machine Translation, p. 69-78 Tampere, Finland, June 2023