测试时图分布迁移下的在线图神经网络评估
机器学习
2024-03-18 v1
摘要
在真实图上评估已训练良好的图神经网络 (GNN) 模型,是可靠地进行 GNN 在线部署和服务的关键步骤。由于缺乏测试节点标签且潜在的训练-测试图数据分布迁移未知,传统模型评估在计算绩效指标(如测试误差)和衡量图数据层面的差异方面受到了限制,特别是开发 GNN 时所使用的训练图在测试时间未被观察。本文研究了新的研究问题,即在线 GNN 评估,旨在为已训练良好的 GNN 在测试时图分布迁移下对真实无标签图的有效泛化能力提供有价值的见解。具体而言,我们开发了一种有效的学习行为差异评分,称为 LeBeD,用于估计已训练 GNN 模型在测试时的泛化误差。通过一种无参数的最优性准则进行的新型 GNN 再训练策略,提出的 LeBeD 综合了来自节点预测和结构重建两个视角的学习行为差异。这使得能够有效评估已训练 GNN 捕获测试节点语义和结构表示的能力,成为估计在线 GNN 评估中泛化误差的具象指标。在多样化的图分布迁移下,对真实测试图进行大量实验验证了所提方法的有效性,揭示了其与各类已训练 GNN 模型的真实测试误差之间存在强相关性。
引用
@article{arxiv.2403.09953,
title = {Online GNN Evaluation Under Test-time Graph Distribution Shifts},
author = {Xin Zheng and Dongjin Song and Qingsong Wen and Bo Du and Shirui Pan},
journal= {arXiv preprint arXiv:2403.09953},
year = {2024}
}
备注
Accepted by ICLR-2024