基于括号动力学的可逆与不可逆深度图神经网络
机器学习
2023-12-22 v3
摘要
近期工作表明，受物理启发的架构允许训练深度图神经网络（GNNs）而不产生过平滑。然而，这些物理的作用尚不清楚，可逆（如哈密顿）与不可逆（如扩散）现象的成功例子产生了相当的结果，尽管机制截然相反，且由于对数学理论的经验偏离而进一步复杂化。本工作提出一系列基于保结构括号动力学系统的新颖 GNN 架构，这些系统被证明可保证要么守恒能量，要么随深度增加产生正耗散。结果表明，此处采用的理论严谨框架允许内在的可解释构造，其将当前架构中对理论的偏离置于语境中，并更好地阐明可逆性与不可逆性在网络性能中的作用。
引用
@article{arxiv.2305.15616,
title = {Reversible and irreversible bracket-based dynamics for deep graph neural networks},
author = {Anthony Gruber and Kookjin Lee and Nathaniel Trask},
journal= {arXiv preprint arXiv:2305.15616},
year = {2023}
}