GL-Fusion: 重新思考图神经网络与大语言模型的结合
机器学习
2024-12-11 v1 人工智能
计算与语言
摘要
近期关于将大语言模型（LLMs）与图神经网络（GNNs）集成的研究通常遵循两种方法：以 LLM 为中心的模型将图数据转换为 LLM 处理的标记，以及以 GNN 为中心的模型使用 LLM 将文本特征编码为节点和边的表示以供 GNN 输入。以 LLM 为中心的模型往往难以有效捕捉图结构，而以 GNN 为中心的模型将可变长度的文本数据压缩为固定大小的向量，限制了其理解复杂语义的能力。此外，以 GNN 为中心的方法需要将任务转换为统一的人工设计格式，将其限制在分类任务中并阻止语言输出。为了解决这些限制，我们提出了一种深度集成 GNN 与 LLM 的新架构，包含三个关键创新：（1）结构感知Transformer，将 GNN 的消息传递能力直接融入 LLM 的 Transformer 层，允许同时处理文本和结构信息并生成来自 GNN 和 LLM 的输出；（2）图-文本交叉注意力，处理来自图节点和边的完整未压缩文本，确保完整的语义整合；以及（3）GNN-LLM 双预测器，使 LLM 的灵活自回归生成与 GNN 的可扩展单次预测并行。GL-Fusion 在各种任务上取得了出色表现。特别地，它在 OGBN-Arxiv 和 OGBG-Code2 上达到了最先进的性能。
引用
@article{arxiv.2412.06849,
title = {GL-Fusion: Rethinking the Combination of Graph Neural Network and Large Language model},
author = {Haotong Yang and Xiyuan Wang and Qian Tao and Shuxian Hu and Zhouchen Lin and Muhan Zhang},
journal= {arXiv preprint arXiv:2412.06849},
year = {2024}
}
备注
under review