GNN能否成为LLM的良好适配器？
计算与语言
2024-02-21 v1 人工智能
摘要
近年来，大语言模型（LLM）在文本数据的理解和零样本学习方面展现出卓越能力，有望为许多文本相关领域带来重大进展。在图领域，各种现实场景也涉及文本数据，其中任务和节点特征可以用文本描述。这些文本属性图（TAG）在社交媒体、推荐系统等方面有广泛应用。因此，本文探讨如何利用LLM对TAG进行建模。以往TAG建模方法基于百万级语言模型。当扩展到十亿级LLM时，它们在计算成本上面临巨大挑战。此外，它们也忽略了LLM的零样本推理能力。因此，我们提出GraphAdapter，它使用图神经网络（GNN）作为高效适配器，与LLM协作处理TAG。在效率方面，GNN适配器仅引入少量可训练参数，并且可以以低计算成本进行训练。整个框架通过节点文本的自回归（下一个词预测）进行训练。一旦训练完成，GraphAdapter可以无缝地使用任务特定提示进行微调，以应对各种下游任务。通过在多个真实TAG上的大量实验，基于Llama 2的GraphAdapter在节点分类方面平均提升约5%。此外，GraphAdapter还可以适应其他语言模型，包括RoBERTa、GPT-2。这些有希望的结果表明，GNN可以作为LLM在TAG建模中的有效适配器。
引用
@article{arxiv.2402.12984,
title = {Can GNN be Good Adapter for LLMs?},
author = {Xuanwen Huang and Kaiqiao Han and Yang Yang and Dezheng Bao and Quanjin Tao and Ziwei Chai and Qi Zhu},
journal= {arXiv preprint arXiv:2402.12984},
year = {2024}
}
备注
Accepted by WWW'24