SG-Net：句法引导的机器阅读理解
计算与语言
2019-11-21 v3
摘要
对于机器阅读理解，有效从充斥细节且冗长的段落中建模语言知识并去除噪声的能力对其性能提升至关重要。传统的注意力模型无显式约束地关注所有词，导致对一些非必要词的不准确集中。在本工作中，我们提出利用句法通过将对显式句法约束融入注意力机制来引导文本建模，以获得更好的语言驱动的词表示。具体而言，对于基于 Transformer 编码器的自注意力网络（SAN），我们将感兴趣句法依存（SDOI）设计引入 SAN 以形成具句法引导自注意力的 SDOI-SAN。句法引导网络（SG-Net）随后由此额外的 SDOI-SAN 与原 Transformer 编码器的 SAN 通过双上下文架构组合而成，以获得更好的语言学启发表示。为验证其有效性，所提 SG-Net 被应用于典型的预训练语言模型 BERT，其正基于 Transformer 编码器。在包括 SQuAD 2.0 与 RACE 的流行基准上的大量实验表明，所提 SG-Net 设计有助于相比强基线实现大幅性能提升。
引用
@article{arxiv.1908.05147,
title = {SG-Net: Syntax-Guided Machine Reading Comprehension},
author = {Zhuosheng Zhang and Yuwei Wu and Junru Zhou and Sufeng Duan and Hai Zhao and Rui Wang},
journal= {arXiv preprint arXiv:1908.05147},
year = {2019}
}
备注
Thirty-Fourth AAAI Conference on Artificial Intelligence (AAAI-2020)