BERTTune：基于 BERTScore 微调神经机器翻译
计算与语言
2021-06-07 v1
摘要
神经机器翻译模型常常偏向于训练期间所见的有限翻译参考。为修正这种过拟合，本文提出使用基于近期提出的 BERTScore 评估指标的新训练目标来微调模型。BERTScore 是一种基于上下文嵌入的打分函数，克服了基于 n 元文法的指标的典型局限（如同义词、复述），使得与参考不同但在上下文嵌入空间中相近的翻译也被视为基本正确。为能将 BERTScore 用作训练目标，我们提出三种生成软预测的方法，使网络保持端到端完全可微。在四个不同语言对上进行的实验表明，微调强基线时 BLEU 分数提升高达 0.58 个百分点（3.28%），BERTScore（F_BERT）提升高达 0.76 个百分点（0.98%）。
引用
@article{arxiv.2106.02208,
title = {BERTTune: Fine-Tuning Neural Machine Translation with BERTScore},
author = {Inigo Jauregi Unanue and Jacob Parnell and Massimo Piccardi},
journal= {arXiv preprint arXiv:2106.02208},
year = {2021}
}
备注
Accepted at ACL 2021