面向图LLMs的基于相似度的邻居选择
机器学习
2024-02-07 v1 人工智能
计算与语言
社会与信息网络
摘要
文本属性图（TAGs）对语言学习模型（LLMs）的直接处理提出了独特挑战，但其广泛的常识知识和强大的推理能力为 TAGs 中的节点分类带来了巨大潜力。该领域的先前研究一直致力于解决过度压缩、异配性以及无效的图信息集成等问题，而数据集划分的不一致性和对先进 LLMs 的利用不足进一步加剧了这些问题。为应对这些挑战，我们提出了基于相似度的邻居选择（SNS）。利用 SimCSE 和先进的邻居选择技术，SNS 有效提升了所选邻居的质量，从而改进了图表示，并缓解了过度压缩和异配性等问题。此外，作为一种归纳式且无需训练的方法，SNS 相比传统 GNN 方法展现出更优的泛化能力和可扩展性。我们遵循标准数据集划分实践的全面实验表明，SNS 通过与 LLMs 的简单提示交互，始终优于普通 GNN，并在 PubMed 等数据集上的节点分类任务中取得了最先进的结果，展示了 LLMs 在图结构理解方面的潜力。我们的研究进一步强调了图结构集成在 LLM 应用中的重要性，并确定了其在节点分类中取得成功的关键因素。代码可在 https://github.com/ruili33/SNS 获取。
引用
@article{arxiv.2402.03720,
title = {Similarity-based Neighbor Selection for Graph LLMs},
author = {Rui Li and Jiwei Li and Jiawei Han and Guoyin Wang},
journal= {arXiv preprint arXiv:2402.03720},
year = {2024}
}