机器翻译中基于图注意力与BERT的句法知识建模
计算与语言
2023-05-24 v1
摘要
尽管Transformer模型可通过自注意力机制有效获取上下文特征，但更深层的句法知识仍未被有效建模。为缓解上述问题，我们提出了机器翻译（MT）场景下基于图注意力与BERT的句法知识（SGB）方法。图注意力网络（GAT）与BERT共同将句法依存特征表示为源语言的显式知识，以丰富源语言表征并引导目标语言生成。我们的实验使用黄金句法标注句子和质量估计（QE）模型，在不局限于BLEU分数的情况下获得句法知识对翻译质量提升的可解释性。实验表明，所提出的SGB引擎在三项MT任务上均提升了翻译质量且未牺牲BLEU分数。我们探究了何种长度的源句子受益最大，以及SGB引擎能更好识别哪些依存关系。我们还发现，GAT对特定依存关系的学习可反映在包含此类关系的翻译质量中，且图上的句法导致了BERT中低层对源句子句法方面的新建模。
引用
@article{arxiv.2305.13413,
title = {Syntactic Knowledge via Graph Attention with BERT in Machine Translation},
author = {Yuqian Dai and Serge Sharoff and Marc de Kamps},
journal= {arXiv preprint arXiv:2305.13413},
year = {2023}
}