黎曼流形上的脉冲图神经网络
机器学习
2024-10-24 v1
摘要
图神经网络(GNN)已成为在图这种典型非欧几里得结构上进行学习的主流解决方案。使用人工神经网络(ANN)构建的传统 GNN 以高计算和高能耗为代价取得了令人瞩目的性能。与此同时，具有类脑脉冲神经元的脉冲 GNN 因其能效而日益受到研究关注。迄今为止，现有的脉冲 GNN 在欧几里得空间中考虑图，忽略了结构几何特性，并且由于使用替代梯度的随时间反向传播(BPTT)而遭受高延迟问题。鉴于上述问题，我们致力于探索黎曼流形上的脉冲 GNN，并提出了一种流形值脉冲 GNN (MSG)。特别地，我们在测地完备流形上利用微分同胚设计了一种新的脉冲神经元，从而通过所提出的流形微分替代了关于脉冲的 BPTT。理论上，我们证明了 MSG 近似于流形常微分方程的一个求解器。在常见图上的大量实验表明，所提出的 MSG 在性能上优于先前的脉冲 GNN，在能效上优于传统 GNN。
引用
@article{arxiv.2410.17941,
title = {Spiking Graph Neural Network on Riemannian Manifolds},
author = {Li Sun and Zhenhao Huang and Qiqi Wan and Hao Peng and Philip S. Yu},
journal= {arXiv preprint arXiv:2410.17941},
year = {2024}
}
备注
Accepted by NeurIPS 2024, 30 pages