高效集成大语言模型用于图神经网络中的消息传递：All Against Some
机器学习
2024-07-23 v1
摘要
图神经网络（GNNs）因其在基于图结构数据上的众多实际应用而在过去十年中受到广泛关注。另一方面，大语言模型（LLMs）拥有广泛的预训练知识和强大的语义理解能力，最近在利用视觉和文本数据方面显示出惊人的能力。在本文中，我们研究如何以计算高效的方式利用 LLM 来惠及富含图结构数据，这种模式在 LLM 文献中相对不受关注。先前的工作利用 LLM 以非可扩展的方式增强每个节点特征，或使用自然语言描述图的复杂结构信息，或对 LLM 与 GNN 联合进行计算密集型微调。在本文中，我们提出 E-LLaGNN（Efficient LLMs augmented GNNs），一个具备按需 LLM 服务的框架，通过增强图中少数节点来丰富图学习的消息传递过程。具体而言，E-LLaGNN 依赖于使用 LLM 对高质量邻域进行采样，随后通过来自我们提示目录的多样化提示进行按需邻域特征增强，最后使用传统 GNN 架构进行信息聚合。我们探索了几种基于启发式的主动节点选择策略，以限制在处理数百万节点时 LLM 的计算和内存开销。通过在众多规模不同的流行图基准（Cora、PubMed、ArXiv 和 Products）上的大量实验与消融实验，我们展示了 E-LLaGNN 框架的有效性，并揭示了诸多有趣的能力，如在深层 GNN 中的梯度流改善、LLM-free 推理能力等。
引用
@article{arxiv.2407.14996,
title = {All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks},
author = {Ajay Jaiswal and Nurendra Choudhary and Ravinarayana Adkathimar and Muthu P. Alagappan and Gaurush Hiranandani and Ying Ding and Zhangyang Wang and Edward W Huang and Karthik Subbian},
journal= {arXiv preprint arXiv:2407.14996},
year = {2024}
}