大语言模型图回忆的微观结构与准确性
机器学习
2024-11-01 v3 计算与语言
信息检索
社会与信息网络
摘要
图数据对许多应用至关重要，其中大部分存在于文本格式描述的关系中。因此，能够准确回忆和编码先前文本中描述的图是LLM需要展示的基本但关键的能力，如果它们要执行涉及图结构信息的推理任务。认知科学家对人类图回忆的表现进行了数十年的研究，发现其常常表现出某些结构性的偏差模式，这些模式与人类处理社会关系的方式一致。然而，迄今为止，我们对LLM在类似图回忆任务中的行为知之甚少：它们回忆的图是否也表现出某些偏差模式？如果是，它们与人类相比如何，并如何影响其他图推理任务？在这项工作中，我们首次系统研究了LLM的图回忆，调查了其回忆中的准确性和有偏差的微观结构（局部结构模式）。我们发现，LLM不仅在图回忆中经常表现不佳，而且倾向于偏爱更多的三角形和交替的2-路径。此外，我们发现更先进的LLM对真实世界图来源的领域有显著的依赖性——当图以其原始领域一致的语言风格叙述时，它们能产生最佳的回忆准确性。
引用
@article{arxiv.2402.11821,
title = {Microstructures and Accuracy of Graph Recall by Large Language Models},
author = {Yanbang Wang and Hejie Cui and Jon Kleinberg},
journal= {arXiv preprint arXiv:2402.11821},
year = {2024}
}
备注
Accepted at NeurIPS 2024; Code available at: https://github.com/Abel0828/llm-graph-recall