图位置与结构编码器
机器学习
2024-06-12 v2
摘要
位置与结构编码（PSE）能够增强图中节点的可辨识性，使其成为赋能现代 GNN（图神经网络），尤其是图 Transformer 的重要工具。然而，设计对所有图预测任务都最优的 PSE 是一个具有挑战性且尚未解决的问题。本文提出图位置与结构编码器（GPSE），这是首个旨在捕获丰富 PSE 表示以增强任意 GNN 的图编码器。GPSE 为多个 PSE 学习高效的公共潜在表示，并且具有高度可迁移性：在特定图数据集上训练的编码器可有效用于来自显著不同分布与模态的数据集。我们表明，在广泛的基准测试中，GPSE 增强的模型可显著优于采用显式计算 PSE 的模型，并在其他情况下至少与其性能相当。我们的结果为开发用于提取位置与结构信息的基础预训练图编码器铺平了道路，并凸显了其作为显式计算 PSE 与现有自监督预训练方法更强大且高效替代方案的潜力。我们的框架与预训练模型已公开于 https://github.com/G-Taxonomy-Workgroup/GPSE。为方便起见，GPSE 也已集成至 PyG 库以助力下游应用。
引用
@article{arxiv.2307.07107,
title = {Graph Positional and Structural Encoder},
author = {Semih Cantürk and Renming Liu and Olivier Lapointe-Gagné and Vincent Létourneau and Guy Wolf and Dominique Beaini and Ladislav Rampášek},
journal= {arXiv preprint arXiv:2307.07107},
year = {2024}
}
备注
Accepted at ICML 2024; 34 pages, 6 figures