在图学习中利用脉冲动态与时空特征归一化
神经与进化计算
2021-07-15 v1 机器学习
摘要
具有内在动态的生物脉冲神经元构成了大脑在复杂环境中处理多模态信息的强大表征与学习能力的基础。尽管脉冲神经网络（SNN）在处理欧氏空间任务上近期取得巨大进展，但利用SNN处理以图数据表示的非欧氏空间数据仍具挑战性，主要由于缺乏有效建模框架与有用训练技术。在此我们提出一种通用的基于脉冲的建模框架，可直接训练SNN用于图学习。通过对节点特征的脉冲数据流进行时空展开，我们将图卷积滤波器融入脉冲动态并形式化一种协同学习范式。考虑到脉冲表征与脉冲动态的独特特征，我们提出一种适用于SNN的时空特征归一化（STFN）技术以加速收敛。我们将方法实例化为两种脉冲图模型，包括图卷积SNN与图注意力SNN，并在三个节点分类基准（包括Cora、Citeseer与Pubmed）上验证其性能。我们的模型能以低得多的计算成本达到与最先进图神经网络（GNN）模型可比的性能，展现出在神经形态硬件上执行的巨大优势，并推动图形场景中的神经形态应用。
引用
@article{arxiv.2107.06865,
title = {Exploiting Spiking Dynamics with Spatial-temporal Feature Normalization in Graph Learning},
author = {Mingkun Xu and Yujie Wu and Lei Deng and Faqiang Liu and Guoqi Li and Jing Pei},
journal= {arXiv preprint arXiv:2107.06865},
year = {2021}
}
备注
Accepted by IJCAI-21