关于 BERT 在神经机器翻译中的应用
计算与语言
2019-09-30 v1 机器学习
摘要
利用大型预训练模型处理各类 NMT（神经机器翻译）任务近来备受关注。本文研究如何借助预训练的 BERT 模型用于有监督神经机器翻译。我们比较了将预训练 BERT 模型与 NMT 模型集成的多种方式，并研究了用于 BERT 训练的单语数据对最终翻译质量的影响。我们使用 WMT-14 英德、IWSLT15 英德以及 IWSLT14 英俄数据集进行实验。除标准任务测试集评估外，我们还在域外测试集与加噪测试集上进行了评估，以考察 BERT 预训练表示如何影响模型的鲁棒性。
引用
@article{arxiv.1909.12744,
title = {On the use of BERT for Neural Machine Translation},
author = {Stéphane Clinchant and Kweon Woo Jung and Vassilina Nikoulina},
journal= {arXiv preprint arXiv:1909.12744},
year = {2019}
}
备注
10 pages