语言模型对论元角色敏感性的心理语言学评估
计算与语言
2024-10-22 v1
摘要
我们对大型语言模型对论元角色敏感性进行系统评估，即主语、谓语和宾语之间的关系，通过复制人类论元角色处理的心理语言学研究。在三个实验中，我们发现语言模型能够区分动词在合理与不合理语境中的表现，其中合理性由动词及其前导论元之间的关系决定。然而，None of the models 能够捕捉到人类理解者在实际时态动词预测中所展现的选择性模式。这表明，语言模型检测动词合理性的能力并非源于人类实时句子处理所依赖的同一机制。
引用
@article{arxiv.2410.16139,
title = {A Psycholinguistic Evaluation of Language Models' Sensitivity to Argument Roles},
author = {Eun-Kyoung Rosa Lee and Sathvik Nair and Naomi Feldman},
journal= {arXiv preprint arXiv:2410.16139},
year = {2024}
}