大语言模型对误导性句子的逐步理解：语义解释、句法重分析与注意力
计算与语言
2024-05-28 v1
摘要
在阅读暂时模糊的误导性句子时，误解有时会在消歧点之后持续存在。这一现象传统上通过心理语言学实验中的在线测度（如阅读时间）和离线测度（如理解问题）进行研究。本文使用四个大语言模型（GPT-2、LLaMA-2、Flan-T5 和 RoBERTa）来探讨误导性句子的处理及其在消歧后仍悬而未决的误解的命运。总体目标是评估人类和大语言模型在误导性句子处理以及在消歧后仍悬而未决的误解方面的一致性，尤其是在存在额外非句法信息（例如用于 delimit 子句边界的逗号）以引导处理的情况下。我们采用 24 句具有可选及不及时反义动词导致暂时模糊的误导性句子。对于每句话，都有一组对应的理解问题，分别对应误解和正确解释。在三个实验中，我们（1）使用问答任务测量大语言模型的动态语义解释；（2）跟踪这些模型是否在消歉点（或句子末端）转移其隐式句法树；（3）可视化处理问题探测时，模型组件注意力引导信息的分布。这些实验显示，在存在用于引导处理的额外非句法信息时，人类和大语言模型在误导性句子处理方面表现出有希望的一致性。
引用
@article{arxiv.2405.16042,
title = {Incremental Comprehension of Garden-Path Sentences by Large Language Models: Semantic Interpretation, Syntactic Re-Analysis, and Attention},
author = {Andrew Li and Xianle Feng and Siddhant Narang and Austin Peng and Tianle Cai and Raj Sanjay Shah and Sashank Varma},
journal= {arXiv preprint arXiv:2405.16042},
year = {2024}
}
备注
Accepted by CogSci-24