BERT-JAM：通过联合注意力增强 BERT 赋能的神经机器翻译
计算与语言
2020-11-10 v1
摘要
BERT 赋能的神经机器翻译（NMT）旨在利用 BERT 编码的表示进行翻译任务。一种近期提出的方法使用注意力机制将 Transformer 的编码器和解码器层与 BERT 的最后一层表示相融合，并展现出增强的性能。然而，他们的方法不允许在 BERT 表示与编码器/解码器表示之间灵活分配注意力。在本工作中，我们提出了一种名为 BERT-JAM 的新型 BERT 赋能 NMT 模型，从两个方面改进现有模型：1）BERT-JAM 使用联合注意力模块，使编码器/解码器层能够在不同表示之间动态分配注意力；2）BERT-JAM 允许编码器/解码器层通过使用门控线性单元（GLU）组合 BERT 的中间表示来加以利用。我们使用一种新颖的三阶段优化策略训练 BERT-JAM，该策略逐步解冻 BERT-JAM 的不同组件。我们的实验表明，BERT-JAM 在多个翻译任务上取得了 SOTA BLEU 分数。
引用
@article{arxiv.2011.04266,
title = {BERT-JAM: Boosting BERT-Enhanced Neural Machine Translation with Joint Attention},
author = {Zhebin Zhang and Sai Wu and Dawei Jiang and Gang Chen},
journal= {arXiv preprint arXiv:2011.04266},
year = {2020}
}