基于大语言模型的动态文本捆绑用于文本属性图的零样本推理
机器学习
2025-10-03 v2
摘要
大语言模型（LLM）已被应用于许多零样本学习问题中，凭借其强大的泛化能力。近期，将大语言模型引入文本属性图（TAG）受到了越来越多的关注。然而，大语言模型的采用面临两大挑战：图结构信息有限以及响应不可靠。大语言模型难以处理与图拓扑相隔离的文本属性。更糟糕的是，由于信息不足以及大语言模型固有的弱点（如幻觉），它们会产生不可靠的预测。为此，本文提出了一种名为动态文本捆绑监督（DENSE）的新方法，该方法通过捆绑文本查询大语言模型以获取包级别标签，并利用这些标签监督图神经网络。具体而言，我们采样一组包，每个包包含一组邻近节点及其对应文本。随后，我们使用捆绑文本查询大语言模型以获取每个包的标签。之后，包标签用于监督图神经网络的优化，并且包会进一步细化以排除噪声项。为验证我们的设计，我们还提供了该方法的理论分析。十个数据集上的大量实验验证了所提方法的有效性。
引用
@article{arxiv.2505.17599,
title = {Dynamic Bundling with Large Language Models for Zero-Shot Inference on Text-Attributed Graphs},
author = {Yusheng Zhao and Qixin Zhang and Xiao Luo and Weizhi Zhang and Zhiping Xiao and Wei Ju and Philip S. Yu and Ming Zhang},
journal= {arXiv preprint arXiv:2505.17599},
year = {2025}
}
备注
Accepted by NeurIPS 2025