自适应消息传递：缓解过平滑、过挤压和欠覆盖的通用框架
机器学习
2025-05-13 v3
摘要
长程相互作用对于许多科学领域中复杂系统的正确描述至关重要。然而，将它们纳入计算所付出的代价是整体计算成本的急剧增加。最近，深度图网络已被用作高效的数据驱动模型，用于预测表示为图的复杂系统的属性。这些模型依赖于消息传递策略，原则上应该在不显式建模相应相互作用的情况下捕获长程信息。在实践中，由于（同步）消息传递的内在局限性，即过平滑、过挤压和欠覆盖，大多数深度图网络无法真正建模长程依赖关系。本文提出了一个通用框架，学习缓解这些局限性：在变分推断框架内，我们赋予消息传递架构自适应深度和沿途过滤消息的能力。通过理论和经验论证，我们表明该策略能更好地捕获长程相互作用，在五个节点和图预测数据集上与最先进方法竞争。
引用
@article{arxiv.2312.16560,
title = {Adaptive Message Passing: A General Framework to Mitigate Oversmoothing, Oversquashing, and Underreaching},
author = {Federico Errica and Henrik Christiansen and Viktor Zaverkin and Takashi Maruyama and Mathias Niepert and Francesco Alesiani},
journal= {arXiv preprint arXiv:2312.16560},
year = {2025}
}