消息传递图神经网络无法逼近稀疏三角分解
机器学习
2026-05-26 v3 人工智能
数值分析
数值分析
摘要
图神经网络（GNNs）已被提议作为学习稀疏矩阵预条件子的工具，而预条件子是加速线性求解器的关键组成部分。我们提供理论和实证证据表明，对于存在高质量预条件子但需要非局部依赖的矩阵类别，消息传递 GNN 从根本上无法逼近稀疏三角分解。为了说明这一点，我们使用合成矩阵和来自 SuiteSparse 集合的真实世界示例构建了一组基线。在一系列 GNN 架构中，包括图注意力网络和图 Transformer，我们观察到预测因子与参考因子之间的余弦相似度较低（关键情况下 ）。我们的理论和实证结果表明，要将 GNN 应用于矩阵分解等科学计算任务，需要超越消息传递的架构创新。此外，实验表明，仅仅克服非局部性是不够的。需要定制架构来捕捉所需的依赖关系，因为即使是完全非局部的全局图 Transformer 也无法匹配所提出的基线。
引用
@article{arxiv.2502.01397,
title = {Message-Passing GNNs Fail to Approximate Sparse Triangular Factorizations},
author = {Vladislav Trifonov and Ekaterina Muravleva and Ivan Oseledets},
journal= {arXiv preprint arXiv:2502.01397},
year = {2026}
}
备注
Camera-ready version published in Transactions on Machine Learning Research