图神经网络中的记忆现象
机器学习
2025-09-04 v3
摘要
深度神经网络已被证明会记忆其训练数据，然而对图神经网络类似的分析在很大程度上仍未被充分探索。我们引入了 NCMemo（节点分类记忆），这是第一个量化半监督节点分类中标签记忆的框架。我们首先确立了记忆与图同质性之间的反比关系，即相连节点共享相似标签/特征的性质。我们发现较低的同质性显著增加记忆，表明 GNNs 依赖记忆来学习同质性较低的图。其次，我们分析了 GNN 训练动态。我们发现低同质性图中增加的记忆与 GNNs 在学习期间使用图结构的隐式偏置紧密耦合。在低同质性机制下，这种结构的信息量较少，因此诱导对节点标签的记忆以最小化训练损失。最后，我们表明在特征空间邻域中标签不一致性较高的节点更容易被记忆。基于我们对图同质性与记忆之间联系的见解，我们研究了图重连作为减轻记忆的手段。我们的结果表明，该方法在不损害模型性能的情况下有效减少了记忆。此外，我们表明它在实践中降低了先前被记忆数据点的隐私风险。因此，我们的工作不仅推进了对 GNN 学习的理解，还支持了更多保护隐私的 GNN 部署。
引用
@article{arxiv.2508.19352,
title = {Memorization in Graph Neural Networks},
author = {Adarsh Jamadandi and Jing Xu and Adam Dziedzic and Franziska Boenisch},
journal= {arXiv preprint arXiv:2508.19352},
year = {2025}
}
备注
Version3, updated affiliation