GMLM：连接图神经网络与语言模型以实现异配节点分类
计算与语言
2025-10-09 v6 人工智能
机器学习
摘要
将预训练语言模型（PLM）与图神经网络（GNN）相结合仍然是富文本异配图学习中的核心挑战。我们提出了一种新颖的整合框架，能够实现强大的预训练文本编码器与关系图卷积网络（R-GCN）之间的有效融合。我们的方法通过双向融合机制和对比节点级优化，增强了文本与结构表示的对齐。为了评估该方法，我们使用不同的 PLM 训练了两个变体：Snowflake-Embed（state-of-the-art）和 GTE-base，每个都与 R-GCN 主干网络配对。在五个异配基准上的实验表明，我们的整合方法在四个数据集上取得了 state-of-the-art 的结果，超越了现有的 GNN 和基于大型语言模型的方法。值得注意的是，Snowflake-Embed + R-GCN 在 Texas 数据集上的准确率提高了 8% 以上，在 Wisconsin 上提高了近 5%。这些结果突显了我们的融合策略在推进富文本图表示学习方面的有效性。
引用
@article{arxiv.2503.05763,
title = {GMLM: Bridging Graph Neural Networks and Language Models for Heterophilic Node Classification},
author = {Aarush Sinha},
journal= {arXiv preprint arXiv:2503.05763},
year = {2025}
}