探索大型语言模型用于异构图的潜力
机器学习
2025-02-18 v3 人工智能
计算与语言
社会与信息网络
摘要
大型语言模型 (LLM) 为增强各种机器学习应用，包括图神经网络 (GNN)，提供了显著的机遇。通过利用 LLM 中所包含的广泛开放世界知识，我们可以更有效地解释和利用文本数据来更好地表征其中心导数图 (heterophilic graphs)，其中相邻节点通常具有不同的标签。然而，现有的异构图方法忽略了与节点相关的丰富文本数据，这些数据可能为其异构背景提供更深入的见解。在本工作中，我们探索了使用 LLM 对异构图进行建模的潜力，并提出了一种新颖的两阶段框架：LLM 增强型边缘判别器和 LLM 指导型边缘重加权。在第一个阶段，我们微调 LLM 以更好地识别基于其节点文本内容的亲疏关系边。在第二个阶段，我们基于节点特征、结构和亲疏或疏关系特征，对不同类型的边在 GNN 中的消息传递进行自适应管理。为了应对在实际场景中部署 LLM 带来的计算需求，我们进一步探索了模型蒸馏技术，以微调更小、更高效的模型，同时保持竞争的性能。广泛的实验验证了我们框架的有效性，证明了使用 LLM 来增强异构图上节点分类的可行性。
引用
@article{arxiv.2408.14134,
title = {Exploring the Potential of Large Language Models for Heterophilic Graphs},
author = {Yuxia Wu and Shujie Li and Yuan Fang and Chuan Shi},
journal= {arXiv preprint arXiv:2408.14134},
year = {2025}
}
备注
Accepted by NAACL 2025