无意义句中的主谓一致错误模式：人类 vs. BERT
计算与语言
2022-09-22 v1
摘要
人类与神经语言模型均能执行主谓数一致（SVA）。原则上，语义不应干扰这一仅需句法知识的任务。在本工作中，我们测试了在英语中意义是否会在不同复杂度的句法结构下干扰此类一致。为此，我们生成了语义良构和无意义的语项。我们将 BERT-base 的性能与通过心理语言学在线众包实验获得的人类性能进行比较。我们发现 BERT 和人类均对我们的语义操纵敏感：当呈现无意义语项时，它们失败更频繁，尤其是当句法结构具有吸引子（主语与动词之间、数与主语不同的名词短语）时。我们还发现，意义性对 SVA 错误的影响在 BERT 上强于人类，表明前者在该任务上具有更高的词汇敏感性。
引用
@article{arxiv.2209.10538,
title = {Subject Verb Agreement Error Patterns in Meaningless Sentences: Humans vs. BERT},
author = {Karim Lasri and Olga Seminck and Alessandro Lenci and Thierry Poibeau},
journal= {arXiv preprint arXiv:2209.10538},
year = {2022}
}
备注
COLING 2022 Main Conference (The 29th international conference on computational linguistics)