LangTopo：面向分词拓扑建模的语言图描述对齐
人工智能
2024-06-21 v1 计算与语言
机器学习
摘要
最近，大语言模型 (LLM) 因其在语言理解和学习方面的卓越能力而广泛应用于图机器学习领域。然而，自然语言任务与拓扑结构建模之间的显著差距是一个不容忽视的挑战。具体而言，由于自然语言描述不足以让 LLM 理解和处理图结构数据，经过微调的 LLM 在图任务上甚至不如一些传统 GNN 模型，缺乏处理图结构的内在建模能力。现有研究过于强调 LLM 对外部模型捕获的语义信息的理解，而不足以探索图的拓扑结构建模，从而忽视了 LLM 所固有的能力。因此，本文引入了新的框架 LangTopo，将图结构建模与自然语言理解在词级别上对齐。LangTopo 通过为图模式构建码本，量化 GNN 和 LLM 的图结构建模能力，并进行一致性最大化。这一过程将 LLM 的文本描述与 GNN 的拓扑建模对齐，使 LLM 能够学习 GNN 捕获图结构的能力，使其能够独立处理图结构数据。我们在多个数据集上展示了所提出方法的有效性。
引用
@article{arxiv.2406.13250,
title = {LangTopo: Aligning Language Descriptions of Graphs with Tokenized Topological Modeling},
author = {Zhong Guan and Hongke Zhao and Likang Wu and Ming He and Jianpin Fan},
journal= {arXiv preprint arXiv:2406.13250},
year = {2024}
}