早期退出图神经网络
机器学习
2026-02-05 v2
摘要
早期退出机制允许深度神经网络在预测置信度较高时停止推理，从而在简单输入上降低延迟和能耗，同时在更难的输入上保持全深度精度。类似地，将早期退出机制添加到图神经网络（GNNs）——图结构数据的首选模型——中，可以在简单图上动态权衡深度与置信度，同时在更难的图上保持全深度精度以捕获复杂关系。然而，它们在深层 GNN 中的潜力尚未被充分探索，在深层 GNN 中，过度平滑、过度压缩或更一般的梯度消失会阻止这些模型正确学习。为了解决这一问题，我们提出了对称-反对称 GNN（SAS-GNN），其基于对称性的归纳偏置产生了稳定的中间表示，从而支持安全的早期退出。在此基础上，我们提出了早期退出 GNN（EEGNNs），它们附加了基于任务目标可端到端训练的置信度感知退出神经头，实现了节点或图级别的即时终止。实验表明，EEGNNs 学习了任务驱动的退出策略，同时在异质图和长程任务上取得了具有竞争力的结果。即使没有超越最强的基线，EEGNNs 也凭借其自适应和参数高效的设计，始终提供有利的准确率-效率权衡。我们计划发布代码以复现我们的实验。
引用
@article{arxiv.2505.18088,
title = {Early-Exit Graph Neural Networks},
author = {Andrea Giuseppe Di Francesco and Maria Sofia Bucarelli and Franco Maria Nardini and Raffaele Perego and Nicola Tonellotto and Fabrizio Silvestri},
journal= {arXiv preprint arXiv:2505.18088},
year = {2026}
}
备注
49 pages, 26 figures. Under review