用于链接预测的可学习时空位置编码
机器学习
2025-06-12 v2 人工智能
摘要
准确的预测依赖于图深度学习框架（如图神经网络和图变换器）的表达能力，其中位置编码机制在最近的最先进工作中已成为记录规范位置信息不可或缺的一部分。然而，当前位置编码在三个方面存在局限：(1) 大多数位置编码方法使用预定义的固定函数，无法适应复杂的属性图；(2) 少数开创性工作提出了可学习的位置编码，但仍局限于结构信息，未考虑现实世界中的时间演化拓扑和特征信息；(3) 大多数位置编码方法配备了变换器的注意力机制以充分利用其能力，而密集或关系注意力在大规模结构化数据上往往难以承受。因此，我们旨在以有效且高效的方式开发可学习时空位置编码，并提出一个简单的时间链接预测模型L-STEP。简言之，对于L-STEP，我们(1)证明了所提出的位置学习方案可以从时空谱角度保持图性质，(2)验证了MLP可以充分挖掘表达能力并在该编码上达到变换器的性能，(3)通过改变不同的初始位置编码输入来展示鲁棒性，(4)分析了理论复杂度并获得了比SOTA更低的经验运行时间，以及(5)在13个经典数据集和10种算法上展示了其时间链接预测的优越性能，涵盖传递式和归纳式设置，并使用了3种不同的采样策略。此外，L-STEP在最新的TGB大规模基准测试中取得了领先性能。我们的代码可在https://github.com/kthrn22/L-STEP获取。
引用
@article{arxiv.2506.08309,
title = {Learnable Spatial-Temporal Positional Encoding for Link Prediction},
author = {Katherine Tieu and Dongqi Fu and Zihao Li and Ross Maciejewski and Jingrui He},
journal= {arXiv preprint arXiv:2506.08309},
year = {2025}
}
备注
Accepted by ICML 2025. 28 pages, 1 figures, 22 tables