在人类与大语言模型中主动利用潜在句法成分表示

理解句子在人类大脑以及大型语言模型（如 ChatGPT）中的内部表示，是认知科学的重要挑战。经典语言理论提出，大脑通过将句子解析为层次组织的成分来表示。相比之下，大型语言模型不显式地解析语言成分，其潜在表示仍不为人所知。本文通过分析他们在 novel one-shot 学习任务中的行为——推断从句中应删除哪些词——展示了人类和大型语言模型构建类似的潜在句法成分表示。无论是人类还是大型语言模型，倾向于删除一个成分，而非非成分词串。在 contrast 中，一个仅访问词属性和序数位置的 naive sequence processing 模型不显示此特征。基于词删除行为，我们可以为人类和大型语言模型重建句子的潜在树状句法成分表示。这一结果表明，潜在的树状句法成分表示可以在人类大脑和大型语言模型中涌现。