如何让 LM 成为强大的节点分类器？
计算与语言
2026-01-27 v3
摘要
语言模型 (LM) 正在挑战基于图神经网络 (GNN) 和图转换器 (GT) 的领域特定模型在节点分类任务中的主导地位。跟随这一趋势，我们提出一种新方法，使即插即用的 LM 能够在无需架构修改的情况下，达到与最先进 (SOTA) GNN 相当的性能。通过保持 LM 的原始架构，本方法保留了 LM 指令调优的关键优势：能够在 diverse 数据集上联合训练，促进更大的灵活性和效率。为实现这一目标，我们引入了两种关键增强策略：(1) 通过拓扑和语义检索方法丰富 LM 的输入，提供更丰富的上下文信息；(2) 通过轻量级 GNN 分类器引导 LM 的分类过程，有效筛选类别候选。我们在真实数据集上进行实验，结果表明，具备这些增强策略的主干 Flan-T5 LM 在表现上超过了 SOTA 文本输出节点分类器，并且与顶级向量输出节点分类器相当。通过搭桥连接 specialized 节点分类器和通用 LM 之间的差距，本工作为更具灵活性和更广泛适用性的图学习模型铺平了道路。我们将在发表后开源代码。
引用
@article{arxiv.2410.02296,
title = {How to Make LMs Strong Node Classifiers?},
author = {Zhe Xu and Kaveh Hassani and Si Zhang and Hanqing Zeng and Michihiro Yasunaga and Limei Wang and Dongqi Fu and Ning Yao and Bo Long and Hanghang Tong},
journal= {arXiv preprint arXiv:2410.02296},
year = {2026}
}