探索大语言模型在动态文本属性图预测中的潜力
机器学习
2025-03-06 v1 人工智能
摘要
随着大语言模型（LLMs）的兴起，对图基础模型（GFMs）在图任务中的应用兴趣日益增长。通过将 LLMs 用作预测器，GFMs 在各种任务和数据集上展示了令人印象深刻的泛化能力。然而，现有关于 LLMs 作为预测器的研究主要集中于静态图，将其应用于动态图预测的潜力尚未被探索。在本工作中，我们率先将 LLMs 用于动态图的预测任务。我们识别出两个关键挑战：处理大规模历史数据时上下文长度的限制，以及领域特征的显著变异性，两者都使统一预测器的开发复杂化。为应对这些挑战，我们提出了 GraphAgent-Dynamic（GAD）框架，一个利用协作 LLMs 的多智能体系统。与使用单个 LLM 作为预测器不同，GAD 结合全局和局部摘要智能体来生成领域特定知识，增强其跨领域迁移能力。此外，知识反思智能体使 GAD 的知识能够自适应更新，保持统一且自洽的架构。在实验中，GAD 展现出与全监督图神经网络相当甚至更优的性能，且无需数据集特定训练。最后，为提升基于 LLM 的预测器的任务特定性能，我们讨论了可能的改进方向，如对 LLMs 进行数据集特定微调。通过为不同任务制定针对性策略，我们为未来 LLM 基础预测器的设计提供了新见解。
引用
@article{arxiv.2503.03258,
title = {Exploring the Potential of Large Language Models as Predictors in Dynamic Text-Attributed Graphs},
author = {Runlin Lei and Jiarui Ji and Haipeng Ding and Lu Yi and Zhewei Wei and Yongchao Liu and Chuntao Hong},
journal= {arXiv preprint arXiv:2503.03258},
year = {2025}
}