动态图上快速且鲁棒的上下文节点表示学习
机器学习
2024-11-12 v1 人工智能
摘要
现实世界的图随着时间和边的插入而快速增长，这促使了在演化图上高效维护鲁棒节点表示的问题。最近的高效图神经网络旨在将递归消息传递与学习过程解耦，并倾向于使用个性化PageRank作为底层的特征传播机制。然而，大多数基于PPR的图神经网络是为静态图设计的，高效的PPR维护仍然是一个开放问题。此外，尽管PPR在经验上表现出色，但其选择的理论依据却出奇地少。在本文中，我们受到最近将PPR表述为显式ℓ1正则化优化问题的启发，提出了一种基于稀疏节点注意力的统一动态图学习框架。我们还提出了一组期望的性质来证明PPR在STOA图神经网络中的选择，并作为未来节点注意力设计的指南。同时，我们利用PPR等价的优化公式，采用近端梯度法将基于PPR的图神经网络的效率提高了6倍。最后，我们通过最大化先前用作注意力的PPR，实例化了一个简单而有效的模型，该模型具有鲁棒的位置编码。该模型的性能与STOA基线相当或更好，并且在图演化过程中初始节点属性存在噪声时表现更优，证明了该模型的有效性和鲁棒性。
引用
@article{arxiv.2411.07123,
title = {Fast and Robust Contextual Node Representation Learning over Dynamic Graphs},
author = {Xingzhi Guo and Silong Wang and Baojian Zhou and Yanghua Xiao and Steven Skiena},
journal= {arXiv preprint arXiv:2411.07123},
year = {2024}
}