语言模型能够学习句法规则的例外
计算与语言
2023-06-12 v1
摘要
人工神经网络能够对新颖语境进行生产性泛化。它们是否也能学习这些生产性规则的例外？我们使用英语被动化限制案例（例如，“The vacation lasted five days”合乎语法，而“*Five days was lasted by the vacation”则不然）来探讨该问题。我们收集了人类对一系列动词被动句的可接受性判断，并表明由语言模型 GPT-2 所定义的概率分布与人类判断高度相关。我们还表明，动词在主动与被动语态中的相对可接受性，与其在这些语态中出现频率的相对值呈正相关。这些结果为固化假说提供了初步支持，该假说认为学习者追踪并利用其输入的分布特性来学习规则的负例例外。与此同时，该假说未能解释某些个体动词所展现的不可被动化之程度，表明语言输入中还存在其他指示例外性的线索。
引用
@article{arxiv.2306.05969,
title = {Language Models Can Learn Exceptions to Syntactic Rules},
author = {Cara Su-Yi Leong and Tal Linzen},
journal= {arXiv preprint arXiv:2306.05969},
year = {2023}
}
备注
Accepted to SCiL 2023