我们能从图机器学习的状态空间模型中学到什么？
机器学习
2024-10-07 v2
摘要
图上的机器学习最近在各个领域得到了广泛应用。然而，常用的消息传递神经网络（MPNN）表达能力有限，且难以捕捉长程依赖关系。图变换器因其全局注意力机制而成为一种强大的替代方案，但其计算开销巨大，尤其对于大图而言。近年来，状态空间模型（SSM）已成为一种引人注目的方法，用于替代变换器中的全注意力机制来建模序列数据。它融合了RNN和CNN的优势，提供：a) 高效计算，b) 捕捉长程依赖关系的能力，以及c) 对不同长度序列的良好泛化能力。然而，由于图中缺乏规范的节点排序，将SSM扩展到图结构数据面临着独特的挑战。在这项工作中，我们提出了图状态空间卷积（GSSC），作为SSM在图结构数据上的一种原则性扩展。通过利用全局置换等变集合聚合和依赖于相对节点距离作为卷积核的可分解图核，GSSC保留了SSM的所有三个优势。我们证明了GSSC在图子结构计数方面具有比MPNN更强的表达能力，并在11个真实世界、广泛使用的基准数据集上展示了其有效性。GSSC在11个数据集中有6个取得了最佳结果，与最先进的基线相比均有显著提升，并在其余5个数据集中取得了第二好的结果。我们的发现凸显了GSSC作为图机器学习中强大且可扩展模型的潜力。我们的代码可在 https://github.com/Graph-COM/GSSC 获取。
引用
@article{arxiv.2406.05815,
title = {What Can We Learn from State Space Models for Machine Learning on Graphs?},
author = {Yinan Huang and Siqi Miao and Pan Li},
journal= {arXiv preprint arXiv:2406.05815},
year = {2024}
}