基于混合损失的代词定向微调用于神经机器翻译
计算与语言
2020-10-16 v1
摘要
流行的神经机器翻译模型训练采用回译等策略来提升BLEU分数，这需要大量额外数据与训练。我们引入一类条件生成-判别混合损失，用以微调已训练好的机器翻译模型。通过结合定向微调目标与对模型未能充分学习之训练数据的直观复用，我们在不使用任何额外数据的情况下提升了句子级与上下文级模型的性能。我们通过微调针对代词翻译的改进，并在代词基准测试集上评估我们的模型。我们的句子级模型在WMT14与IWSLT13德英测试集上均显示出0.5的BLEU提升，而我们的上下文模型取得了最佳结果，在WMT14德英测试集上从31.81提升至32 BLEU，在IWSLT13德英测试集上从32.10提升至33.13 BLEU，代词翻译也相应改善。我们进一步通过在另外两个语言对(法英与捷英)上复现改进，展示了方法的泛化能力。代码见<https://github.com/ntunlp/pronoun-finetuning>。
引用
@article{arxiv.2010.07638,
title = {Pronoun-Targeted Fine-tuning for NMT with Hybrid Losses},
author = {Prathyusha Jwalapuram and Shafiq Joty and Youlin Shen},
journal= {arXiv preprint arXiv:2010.07638},
year = {2020}
}
备注
EMNLP 2020