当图神经网络遇上动态模态分解
机器学习
2024-10-10 v1
摘要
图神经网络（GNN）已成为处理图结构数据上各种预测任务的基础工具。近期研究将GNN特征传播与扩散过程进行类比，这可以被解释为动力系统。在本文中，我们通过将GNN中的动力学与现代Koopman理论及其数值方法——动态模态分解（DMD）联系起来，更深入地探讨了这一视角。我们阐述了DMD如何基于系统的多个状态估计一个低秩、有限维的线性算子，从而有效逼近图中节点间潜在的非线性相互作用。这种方法使我们能够准确且高效地捕获图内的复杂动力学。我们在理论上建立了DMD估计算子与系统状态间原始动态算子之间的联系。在此基础之上，我们引入了一系列DMD-GNN模型，这些模型有效地利用了DMD算法提供的低秩本征函数。我们进一步讨论了通过将对称性等特定领域约束纳入DMD计算来增强我们方法的潜力，从而使相应的GNN模型能够尊重底层系统的已知物理特性。我们的工作为通过GNN应用先进的动力系统分析工具铺平了道路。我们通过在包括有向图、大规模图、长程交互和时空图在内的各种学习任务上进行大量实验来验证我们的方法。我们还通过实验证明，我们提出的模型可以作为链接预测任务的有效编码器。结果表明，我们的DMD增强型GNN实现了最先进的性能，突显了将DMD集成到GNN框架中的有效性。
引用
@article{arxiv.2410.05593,
title = {When Graph Neural Networks Meet Dynamic Mode Decomposition},
author = {Dai Shi and Lequan Lin and Andi Han and Zhiyong Wang and Yi Guo and Junbin Gao},
journal= {arXiv preprint arXiv:2410.05593},
year = {2024}
}