图神经网络中的历史激活学习
机器学习
2026-05-19 v2 人工智能
摘要
图神经网络（GNN）在社交网络、分子化学等诸多领域展现出显著的成功。GNN的一个关键组成部分是池化程序，其中将由模型计算得到的节点特征组合，以形成用于下游任务的有信息的最终描述。然而，之前的图池化方案依赖于最后一个GNN层的特征作为输入到池化或分类层，可能在未充分利用在模型前向传播期间产生的先前层的重要激活，这些我们视为历史图激活。在节点表示在多个图神经层中显著变化的情况下，这一差距尤为突出，并且因图特有的挑战（如深层架构中的过平滑）而恶化。为弥合这一差距，我们引入HISTOGRAPH，一种新的两阶段基于注意力的最终聚合层，首先对中间激活应用统一的层级注意力，然后进行节点级注意力。通过建模节点表示在层之间的演化，HISTOGRAPH利用节点激活历史以及图结构来细化用于最终预测的特征。在多个图分类基准测试上的实验结果表明，HISTOGRAPH提供了强大的性能， consistently improves traditional techniques，在深层GNN中尤其表现出良好的鲁棒性。
引用
@article{arxiv.2601.01123,
title = {Learning from Historical Activations in Graph Neural Networks},
author = {Yaniv Galron and Hadar Sinai and Haggai Maron and Moshe Eliasof},
journal= {arXiv preprint arXiv:2601.01123},
year = {2026}
}
备注
ICLR 2026