当句子未引入话语实体时，基于 Transformer 的模型仍有时会指代它
计算与语言
2022-05-10 v1
摘要
理解较长叙事或参与对话需要追踪已被提及的话语实体。不定名词短语（NP），如“一只狗”，经常引入话语实体，但此行为受否定等句子算子的调节。例如，“Arthur doesn't own a dog”中的“a dog”因否定的存在而不引入话语实体。在本工作中，我们将语言模型的心理语言学评估范式适配到更高层次的语言现象，并引入一个针对句子算子与不定 NP 之间交互知识的英语评估套件。我们使用该评估套件对基于 Transformer 的模型 GPT-2 和 GPT-3 的实体追踪能力进行细粒度调查。我们发现，尽管模型在某种程度上对我们所研究的交互敏感，但它们都受多个 NP 存在的挑战，且其行为不具系统性，这表明即便达到 GPT-3 规模的模型也未完全习得基本的实体追踪能力。
引用
@article{arxiv.2205.03472,
title = {When a sentence does not introduce a discourse entity, Transformer-based models still sometimes refer to it},
author = {Sebastian Schuster and Tal Linzen},
journal= {arXiv preprint arXiv:2205.03472},
year = {2022}
}
备注
To appear at NAACL 2022