从动力系统视角探讨图神经网络中的过压缩问题
机器学习
2025-03-03 v2
摘要
消息传递神经网络中的一个常见问题是过压缩——即促进远距离节点间有效信息流动的能力有限。过压缩归因于随着节点距离增加，信息传输呈指数衰减。本文引入了一种新颖的视角来解决过压缩问题，利用全局和局部非耗散的动力系统特性，使得能够维持恒定的信息流速。我们提出了 SWAN，一种在空间和权重域均具有反对称性的独特参数化 GNN 模型，作为实现非耗散性的手段。我们的理论分析断言，通过实现这些特性，SWAN 增强了在长距离上传输信息的能力。在强调长程交互的合成和真实基准上的实证评估验证了对 SWAN 的理论理解及其缓解过压缩的能力。
引用
@article{arxiv.2405.01009,
title = {On Oversquashing in Graph Neural Networks Through the Lens of Dynamical Systems},
author = {Alessio Gravina and Moshe Eliasof and Claudio Gallicchio and Davide Bacciu and Carola-Bibiane Schönlieb},
journal= {arXiv preprint arXiv:2405.01009},
year = {2025}
}
备注
AAAI 2025