LLM何时有助于节点分类？一项全面分析
机器学习
2025-05-21 v2 社会与信息网络
摘要
节点分类是图分析中的一项基本任务，在各个领域有着广泛的应用。大语言模型（LLM）的最新突破使得基于LLM的方法能够用于此任务。尽管许多研究展示了基于LLM方法的令人印象深刻的性能，但缺乏明确的设计指南可能会阻碍其实际应用。在这项工作中，我们旨在通过对这些算法进行公平和系统的比较来建立这样的指南。作为第一步，我们开发了LLMNodeBed，这是一个使用LLM进行节点分类的综合代码库和测试平台。它包括10个同配性数据集、4个异配性数据集、8种基于LLM的算法、8个经典基线以及3种学习范式。随后，我们进行了广泛的实验，训练和评估了超过2700个模型，以确定影响性能的关键设置（例如，学习范式和同配性）和组件（例如，模型大小和提示）。我们的发现揭示了8个见解，例如：（1）在半监督设置下，基于LLM的方法可以显著优于传统方法，而在监督设置下优势则微乎其微；（2）图基础模型在零样本设置下可以击败开源LLM，但仍不及GPT-4o等强大的LLM。我们希望LLMNodeBench的发布以及我们的见解，将促进该领域的可复现研究并激发未来的研究。代码和数据集已在\href{https://llmnodebed.github.io/}{\texttt{https://llmnodebed.github.io/}}发布。
引用
@article{arxiv.2502.00829,
title = {When Do LLMs Help With Node Classification? A Comprehensive Analysis},
author = {Xixi Wu and Yifei Shen and Fangzhou Ge and Caihua Shan and Yizhu Jiao and Xiangguo Sun and Hong Cheng},
journal= {arXiv preprint arXiv:2502.00829},
year = {2025}
}
备注
Accepted by ICML 2025