理解与解决图神经网络中的过度稀释问题
机器学习
2025-08-26 v1 人工智能
摘要
信息传递神经网络 (MPNN) 在图结构的机器学习中占据关键位置，但由于数据结构的不规则性，难以避免过平滑和过压抑等意外行为。对这些限制的观察与表述已成为构建更具信息性图表示的基础。本文聚焦于 MPNN 的局限性，尤其是此前被忽视的方面。我们的观察表明，即使在单层内部，针对单个节点的信息也可能被显著稀释。为深入探讨这一现象，本文提出“过度稀释” (Over-dilution) 概念，并以两种稀释因子对其进行表述：针对属性层级的“节点内稀释”以及针对节点层级的“节点间稀释”。我们还引入一种基于转换器的解决方案，以缓解过度稀释，同时补充现有的 MPNN 节点嵌入方法。我们的发现提供了新的见解，为开发更具信息性的表示方法作出贡献。实现代码及补充材料已公开于 https://github.com/LeeJunHyun/NATR。
引用
@article{arxiv.2508.16829,
title = {Understanding and Tackling Over-Dilution in Graph Neural Networks},
author = {Junhyun Lee and Veronika Thost and Bumsoo Kim and Jaewoo Kang and Tengfei Ma},
journal= {arXiv preprint arXiv:2508.16829},
year = {2025}
}
备注
Extended version of KDD '25 paper. 22 pages including appendix. Conference version: KDD '25 (Toronto, Aug 3-7, 2025), pp. 1253-1261. Code: https://github.com/LeeJunHyun/NATR