大语言模型不足: 理解侦探叙事中的复杂关系
计算与语言
2024-02-20 v1 人工智能
摘要
现有的叙事理解数据集往往无法代表现实社交情境中关系的复杂性与不确定性。为此，我们引入了一个新的基准数据集 Conan，旨在从侦探叙事中提取并分析复杂的人物关系图谱。具体而言，我们设计了分层关系类别，从不同人物的视角手动提取和标注角色导向的关系，包含被大多数人物所知的公开关系以及仅被少数人物所知的秘密关系。我们使用像 GPT-3.5、GPT-4 和 Llama2 等先进的大语言模型 (LLM) 进行实验，结果显示它们在推断复杂关系和处理较长叙事方面存在局限。Conan 数据集与我们管道策略的组合，旨在理解大语言模型在叙事情境中理解细致关系动态的能力。
引用
@article{arxiv.2402.11051,
title = {Large Language Models Fall Short: Understanding Complex Relationships in Detective Narratives},
author = {Runcong Zhao and Qinglin Zhu and Hainiu Xu and Jiazheng Li and Yuxiang Zhou and Yulan He and Lin Gui},
journal= {arXiv preprint arXiv:2402.11051},
year = {2024}
}