基于可接受性判断的预训练句子编码器语言分析
计算与语言
2020-05-25 v4
摘要
近期关于评估预训练句子编码器中语法知识的工作对少数现象提供了细粒度视角。我们引入了一个同样具有广泛语言现象覆盖的新分析数据集。我们对语言可接受性语料库（CoLA; Warstadt et al., 2018）的开发集标注了 13 类句法现象的存在性，包括各种形式的论元交替、移位和修饰。我们使用该分析集考察了三个预训练编码器的语法知识：BERT (Devlin et al., 2018)、GPT (Radford et al., 2018) 以及来自 Warstadt et al. 的 BiLSTM 基线。我们发现这些模型对复杂或非典型论元结构（如双及物结构（Sue gave Dan a book）和被动句（The book was read））掌握良好。具有长距离依赖的句子（如疑问句（What do you think I ate?））对所有模型都构成挑战，但在这方面 BERT 和 GPT 相对于基线具有明显优势。我们得出结论：尽管近期的句子编码器在可接受性分类整体上表现出接近人类的性能，但对于许多复杂句法结构仍无法做出细粒度的语法性区分。
引用
@article{arxiv.1901.03438,
title = {Linguistic Analysis of Pretrained Sentence Encoders with Acceptability Judgments},
author = {Alex Warstadt and Samuel R. Bowman},
journal= {arXiv preprint arXiv:1901.03438},
year = {2020}
}