用于深度图网络中长程传播的端口哈密顿架构偏置
机器学习
2025-02-14 v2 系统与控制
系统与控制
摘要
图内信息扩散的动力学是一个关键且开放的问题,它严重影响图表示学习,尤其是在考虑长程传播时。这需要能够控制和调节信息在整个神经流中传播与耗散程度的原则性方法。受此启发,我们引入了(端口)哈密顿深度图网络,这是一个新颖的框架,它基于哈密顿动力系统的守恒定律来建模图中的神经信息流。我们在一个统一的理论和实践框架下调和了非耗散的长程传播和非保守行为,并引入来自力学系统的工具来衡量这两个组成部分之间的平衡。我们的方法可应用于通用的消息传递架构,并为信息在时间上的守恒提供了理论保证。实证结果证明了我们的端口哈密顿方案在推动简单图卷积架构在长程基准测试中达到最先进性能方面的有效性。
引用
@article{arxiv.2405.17163,
title = {Port-Hamiltonian Architectural Bias for Long-Range Propagation in Deep Graph Networks},
author = {Simon Heilig and Alessio Gravina and Alessandro Trenta and Claudio Gallicchio and Davide Bacciu},
journal= {arXiv preprint arXiv:2405.17163},
year = {2025}
}
备注
Accepted at ICLR 2025 (https://openreview.net/forum?id=03EkqSCKuO)