图耦合振子网络
机器学习
2022-06-27 v2 动力系统
机器学习
摘要
我们提出图耦合振子网络（GraphCON），一种用于图深度学习的新型框架。它基于二阶常微分方程（ODEs）系统的离散化，该系统建模了一个由非线性受控阻尼振子组成的网络，并通过底层图的邻接结构进行耦合。我们框架的灵活性允许任何基本的 GNN 层（例如卷积或注意力层）作为耦合函数，并通过所提 ODEs 的动力学构建出多层深度神经网络。我们将 GNN 中常见的过平滑问题关联到底层 ODE 稳态的稳定性，并证明对于我们提出的 ODEs，零 Dirichlet 能量稳态是不稳定的。这表明所提框架缓解了过平滑问题。此外，我们证明 GraphCON 缓解了梯度爆炸与消失问题，从而有助于深度多层 GNN 的训练。最后，我们展示了我们的方法在多种基于图的学习任务上相对于最先进方法具有竞争力。
引用
@article{arxiv.2202.02296,
title = {Graph-Coupled Oscillator Networks},
author = {T. Konstantin Rusch and Benjamin P. Chamberlain and James Rowbottom and Siddhartha Mishra and Michael M. Bronstein},
journal= {arXiv preprint arXiv:2202.02296},
year = {2022}
}
备注
ICML 2022