中文

Framelet 如何增强图神经网络

机器学习 2021-06-22 v3 人工智能 数值分析 数值分析

摘要

本文提出一种基于 framelet 变换组装图神经网络的新方法。后者为图结构数据提供多尺度表示。我们将输入图分解为低通与高通频率系数用于网络训练,由此定义基于 framelet 的图卷积。framelet 分解通过将以图特征聚合为低通与高通谱自然地导出一种图池化策略,其同时考虑图数据的特征值与几何结构并保留总信息。所提出的带 framelet 卷积与池化的图神经网络在许多节点与图预测任务中取得最先进性能。此外,我们提出收缩(shrinkage)作为 framelet 卷积的新激活函数,其在不同尺度上对高频信息进行阈值化。与 ReLU 相比,收缩激活在去噪与信号压缩上提升模型性能:通过精确截断 framelet 分解的高通系数,节点与结构中的噪声均可被显著降低,且信号可被压缩至原大小的一半以下而保持良好预测性能。

关键词

引用

@article{arxiv.2102.06986,
  title  = {How Framelets Enhance Graph Neural Networks},
  author = {Xuebin Zheng and Bingxin Zhou and Junbin Gao and Yu Guang Wang and Pietro Lio and Ming Li and Guido Montufar},
  journal= {arXiv preprint arXiv:2102.06986},
  year   = {2021}
}

备注

24 pages, 17 figures, 8 tables, ICML2021 (fix typos)