利用句法感知局部注意力改进 BERT
计算与语言
2021-05-25 v2
摘要
基于 Transformer 的预训练神经语言模型（如 BERT）已在各类 NLP 任务上取得显著成果。近期工作表明，基于注意力的模型可受益于对局部区域更聚焦的注意力。多数研究将注意力范围限制在线性跨度内，或局限于机器翻译与问答等特定任务。本文提出一种句法感知局部注意力，其注意力范围依据句法结构中的距离加以约束。所提出的句法感知局部注意力可与 BERT 等预训练语言模型集成，使模型聚焦于句法相关词。我们在多种单句基准上开展实验，包括句子分类与序列标注任务。实验结果显示在所有基准数据集上相较 BERT 均有稳定提升。充分的研究证实，我们的模型因对句法相关词更聚焦的注意力而取得更优性能。
引用
@article{arxiv.2012.15150,
title = {Improving BERT with Syntax-aware Local Attention},
author = {Zhongli Li and Qingyu Zhou and Chao Li and Ke Xu and Yunbo Cao},
journal= {arXiv preprint arXiv:2012.15150},
year = {2021}
}
备注
In ACL Findings 2021