中文

面向图神经网络的基于能量的分布外检测

机器学习 2023-03-10 v2 人工智能 社会与信息网络

摘要

图学习(其中实例节点相互连接)已成为深度学习的核心问题之一,因为关系结构无处不在,并导致数据相互依赖,这阻碍了假设输入为独立同分布(i.i.d.)抽样的现有方法的直接应用。然而,当前的模型大多集中在提高分布内数据的测试性能上,而在很大程度上忽略了分布外(OOD)测试样本的潜在风险,如果对它们的预测过于自信,可能会导致负面结果。在本文中,我们研究了图结构数据上探索不足的 OOD 检测问题,并基于直接从使用标准分类损失训练的图神经网络中提取的能量函数,识别出一个可证明有效的 OOD 判别器。这为基于 GNN 的图学习铺平了道路,提供了一种简单、强大且高效的 OOD 检测模型,我们称之为 GNNSafe。它还具有很好的理论性质,保证了分布内和 OOD 样本检测分数之间的整体可区分裕度,更关键的是,这可以通过无学习能量置信度传播方案进一步增强。为了进行全面评估,我们引入了新的基准设置,以评估模型在来自合成和真实分布偏移(跨域图偏移和时间图偏移)的 OOD 数据上的检测能力。结果表明,GNNSafe 比现有最先进方法的 AUROC 提高了高达 17.0%17.0\%,并且在这一发展不足的领域中可以作为简单而强大的基线。

关键词

引用

@article{arxiv.2302.02914,
  title  = {Energy-based Out-of-Distribution Detection for Graph Neural Networks},
  author = {Qitian Wu and Yiting Chen and Chenxiao Yang and Junchi Yan},
  journal= {arXiv preprint arXiv:2302.02914},
  year   = {2023}
}

备注

Published at ICLR 2023, the implementation code is available at https://github.com/qitianwu/GraphOOD-GNNSafe