利用大语言模型统一文本语义与时序图结构
计算与语言
2025-09-25 v3 人工智能
摘要
时序图神经网络（TGNNs）在时序图建模方面表现突出。然而，现实中的时序图常拥有丰富的文本信息，导致时序文本属性图（TTAG）的形成。这种文本语义与演化图结构的组合引入了额外的复杂性。现有 TGNNs 静态嵌入文本，严重依赖偏好结构信息的编码机制，忽略文本语义的时间演化以及语义与结构之间的关键相互作用以实现协同强化。为此，我们提出了 CROSS 框架，无缝扩展现有 TGNNs 以适用于 TTAG 建模。CROSS 将 TTAG 建模过程分为两个阶段：(i) 时序语义提取；(ii) 语义-结构信息统一。关键思想是推动大语言模型（LLMs）动态从文本空间提取时序语义，然后生成统一两者的表征。具体而言，我们提出时序语义提取器，使 LLMs 能提供节点其文本邻域演化语境的时序语义理解，促进语义动态。随后，我们引入语义-结构共编码器，与上述提取器协作，通过同时考虑语义与结构信息并鼓励其相互强化来合成启发性表征。广泛实验表明，CROSS 在四个公开数据集和一个工业数据集上实现最先进结果，在时序链接预测中平均提升 24.7% 的 MRR，在工业应用的节点分类中平均提升 3.7% 的 AUC。
引用
@article{arxiv.2503.14411,
title = {Unifying Text Semantics and Graph Structures for Temporal Text-attributed Graphs with Large Language Models},
author = {Siwei Zhang and Yun Xiong and Yateng Tang and Jiarong Xu and Xi Chen and Zehao Gu and Xuezheng Hao and Zian Jia and Jiawei Zhang},
journal= {arXiv preprint arXiv:2503.14411},
year = {2025}
}
备注
Accepted by NeurIPS 2025