GraphGPT：基于图欧拉 Transformer 的生成式预训练图模型
机器学习
2025-06-09 v3 人工智能
摘要
我们提出了 GraphGPT，一种基于图欧拉 Transformer (GET) 的新型自监督生成式预训练图学习模型。首先，我们提出了 GET，它将标准的 Transformer 编码器或解码器架构与一种创新的图到序列转换方法相结合。该方法利用欧拉路径，以可逆的方式将图或采样子图转换为表示节点、边和属性的 token 序列。我们使用两种自监督任务之一对 GET 进行预训练：下一 token 预测 (NTP) 和调度掩码 token 预测 (SMTP)。预训练模型随后被微调用于下游任务，如图级、边级和节点级预测。尽管结构简单，GraphGPT 在多个大规模开放图基准 (OGB) 数据集上取得了媲美或超越最先进 (SOTA) 方法的性能。它在分子性质预测数据集 PCQM4Mv2 和蛋白质 - 蛋白质相互作用数据集 ogbl-ppa 上表现出卓越的结果。值得注意的是，生成式预训练使得 GraphGPT 能够扩展至 20 亿参数，同时保持性能增益——这一突破克服了传统图神经网络 (GNN) 和先前图 Transformer (GT) 的可扩展性限制。为了推动图基础模型的研究并促进化学、材料科学及相关领域的科学发现，我们将开源代码 (https://github.com/alibaba/graph-gpt) 和预训练检查点。
引用
@article{arxiv.2401.00529,
title = {GraphGPT: Generative Pre-trained Graph Eulerian Transformer},
author = {Qifang Zhao and Weidong Ren and Tianyu Li and Hong Liu and Xingsheng He and Xiaoxiao Xu},
journal= {arXiv preprint arXiv:2401.00529},
year = {2025}
}
备注
9 pages