用于机器翻译与自然语言理解的句法注入 Transformer 与 BERT 模型
计算与语言
2019-11-15 v1 机器学习
机器学习
摘要
基于注意力的模型在若干 NLP 任务中相较传统算法展现出显著改进。例如,Transformer 是一个典型示例,它基于序列中所有词元之间的关系,为输入编码器的词元生成抽象表示。近期研究表明,尽管此类模型仅通过观测样本便能学习句法特征,但将此类信息显式馈入深度学习模型可显著提升其性能。利用诸如词性(POS)等句法信息,对于像 Transformer 这样的复杂模型在有限训练数据设定下可能尤为有益。我们表明,具有多重特征的句法注入 Transformer 在完整 WMT 14 英德翻译数据集上训练时取得 0.7 BLEU 的提升,在数据集子集上训练时取得最高 1.99 BLEU 点的提升。此外,我们发现将句法融入 BERT 微调在 GLUE 基准的若干下游任务上优于基线。
引用
@article{arxiv.1911.06156,
title = {Syntax-Infused Transformer and BERT models for Machine Translation and Natural Language Understanding},
author = {Dhanasekar Sundararaman and Vivek Subramanian and Guoyin Wang and Shijing Si and Dinghan Shen and Dong Wang and Lawrence Carin},
journal= {arXiv preprint arXiv:1911.06156},
year = {2019}
}