面向高阶表达能力的动态图神经网络
机器学习
2024-10-03 v1
摘要
动态图神经网络（DyGNNs）因其在演化图上学习表示的能力而受到日益关注的研究。尽管其有效性显而易见, 现有DyGNNs的表达能力有限, 阻碍了其捕捉动态图重要演化模式的能力。尽管一些工作尝试通过启发式特征提升表达能力, 但仍缺乏具有可证明和可量化高阶表达能力的DyGNN框架。为此, 我们首先提出k维动态WL测试（k-DWL）作为量化DyGNN表达能力的参考算法。我们展示了现有DyGNN的表达能力上限为1-DWL测试。为提升表达能力, 我们提出具高阶表达能力的动态图神经网络（HopeDGN），其通过聚合中心节点对的相互作用历史与邻近节点对来更新中心节点对的表示。我们的理论结果表明, HopeDGN的表达能力等效于2-DWL测试。随后, 我们呈现基于Transformer的HopeDGN局部变体的实现。实验结果表明, HopeDGN实现了最高可达3.12%的性能提升, 证明了HopeDGN的有效性。
关键词
引用
@article{arxiv.2410.01367,
title = {Towards Dynamic Graph Neural Networks with Provably High-Order Expressive Power},
author = {Zhe Wang and Tianjian Zhao and Zhen Zhang and Jiawei Chen and Sheng Zhou and Yan Feng and Chun Chen and Can Wang},
journal= {arXiv preprint arXiv:2410.01367},
year = {2024}
}