大语言模型能否通过提示有效利用图结构信息，为何？
机器学习
2024-06-18 v4 人工智能
摘要
大语言模型（LLMs）因其在处理富含文本属性的图方面的能力而受到越来越多的关注，尤其是在零样本场景下。近期研究表明，LLMs 在常见的富文本图基准上获得了不错的文本分类性能，且通过将编码后的结构信息作为自然语言附加到提示中可提升性能。我们旨在理解为何图数据中固有的结构信息的引入能够提升 LLMs 的预测性能。首先，我们通过构建一个新颖的无泄漏数据集并与先前广泛使用的数据集进行对比分析，排除了数据泄漏的担忧。其次，由于过去的工作通常通过用自然语言描述图结构来编码 ego-graph，我们提出疑问：LLMs 是否按照提示设计者的意图理解了图结构？第三，我们探究了 LLMs 在引入结构信息后性能提升的原因。我们对这些问题的探索揭示出：（i）没有实质性证据表明 LLMs 的性能显著归因于数据泄漏；（ii）LLMs 倾向于将提示更多地作为上下文段落来处理，而非如提示设计者所意图的那样将其理解为图结构；以及（iii）提示中所包含局部邻域中最高效的元素是与节点标签相关的短语，而非图结构。
引用
@article{arxiv.2309.16595,
title = {Can LLMs Effectively Leverage Graph Structural Information through Prompts, and Why?},
author = {Jin Huang and Xingjian Zhang and Qiaozhu Mei and Jiaqi Ma},
journal= {arXiv preprint arXiv:2309.16595},
year = {2024}
}
备注
Accepted to Transactions on Machine Learning Research (TMLR)