中文

图神经网络认知不确定性的准确且可扩展估计

机器学习 2024-12-16 v2 机器学习

摘要

尽管图神经网络 (GNNs) 已广泛用于节点和图表征学习任务,但 GNN 不确定性估计在分布偏移下的可靠性仍未得到充分探索。事实上,虽然事后校准策略可用于改善分布内校准,但它们未必能改善分布偏移下的校准。然而,能够产生具有更好内在不确定性估计的 GNN 的技术尤为宝贵,因为它们随后总是可以与事后策略相结合。因此,在本工作中,我们提出了 G-Δ\DeltaUQ,这是一种旨在改善 GNN 内在不确定性估计的新型训练框架。我们的框架通过新颖的图锚定策略将随机数据中心化原理适配于图数据,并能够支持部分随机 GNN。虽然普遍观点认为完全随机网络对于获得可靠估计是必要的,但我们发现,由我们的锚定策略在采样假设时诱导的功能多样性使得这一要求变得不再必要,并允许我们在预训练模型上支持 G-Δ\DeltaUQ。事实上,通过在协变量、概念和图规模偏移下的广泛评估,我们表明 G-Δ\DeltaUQ 能够为节点和图分类带来校准更好的 GNN。此外,它还提高了基于不确定性的任务(即分布外检测和泛化差距估计)的性能。总体而言,我们的工作为 GNN 的不确定性估计提供了见解,并展示了 G-Δ\DeltaUQ 在获得可靠估计方面的效用。

关键词

引用

@article{arxiv.2401.03350,
  title  = {Accurate and Scalable Estimation of Epistemic Uncertainty for Graph Neural Networks},
  author = {Puja Trivedi and Mark Heimann and Rushil Anirudh and Danai Koutra and Jayaraman J. Thiagarajan},
  journal= {arXiv preprint arXiv:2401.03350},
  year   = {2024}
}

备注

Published at ICLR 2024; Project page: https://pujacomputes.github.io/gduq/