DRew：带延迟的动态重连消息传递
机器学习
2023-05-19 v2 人工智能
机器学习
摘要
消息传递神经网络（MPNNs）已被证明存在过度压缩（over-squashing）现象，导致其在依赖长程交互的任务上性能不佳。这很大程度上归因于消息传递仅局部发生于节点的直接邻居之间。试图使图“更连通”从而更适用于长程任务的重连方法，常因让远距离节点在每一层即时通信而丧失图上的距离所提供的归纳偏置。本文提出一个适用于任意 MPNN 架构的框架，其执行依赖于层的重连以确保图的逐渐稠密化。我们还提出一种延迟机制，根据层及节点间相互距离允许节点间的跳跃连接。我们在多个长程任务上验证了该方法，并显示其优于图 Transformer 与多跳 MPNNs。
引用
@article{arxiv.2305.08018,
title = {DRew: Dynamically Rewired Message Passing with Delay},
author = {Benjamin Gutteridge and Xiaowen Dong and Michael Bronstein and Francesco Di Giovanni},
journal= {arXiv preprint arXiv:2305.08018},
year = {2023}
}
备注
Accepted at ICML 2023; 16 pages