短程过度压扁
机器学习
2025-11-26 v1 人工智能
摘要
消息传递神经网络 (MPNN) 广泛用于图上学习，但其处理长程信息的能力受限于“过度压扁”现象。这一局限性导致一些研究者倾向于将图转换器作为更好的替代方案，而另一些人则建议可通过虚拟节点或其他接线技术在 MPNN 框架内加以缓解。在本工作中，我们表明过度压扁不仅限于长程任务，还可在短程问题中产生。这一观察使我们能够解耦过度压扁背后的两种 distinct 机制：(1) 瓶颈现象，即使在低范围设置下也会出现；(2) 梯度消失现象，与长程任务密切相关。我们进一步表明，短程瓶颈效应未被现有对过度压扁的解释所捕捉，添加虚拟节点也无法解决它。相比之下，转换器在此类任务中成功运作，使其成为解决过度压扁的更具说服力的解决方案。
引用
@article{arxiv.2511.20406,
title = {Short-Range Oversquashing},
author = {Yaaqov Mishayev and Yonatan Sverdlov and Tal Amir and Nadav Dym},
journal= {arXiv preprint arXiv:2511.20406},
year = {2025}
}
备注
Accepted to Learning on Graphs (LoG) 2025. Version identical to the camera-ready paper