图神经网络在分布外图上的泛化
机器学习
2024-03-12 v4 人工智能
摘要
图神经网络(GNNs)的提出未考虑训练图与测试图之间的未知分布偏移，导致 GNNs 在分布外(OOD)设定下泛化能力退化。此种退化的根本原因在于多数 GNNs 基于独立同分布(I.I.D)假设开发。在该设定下，GNNs 倾向于利用训练集中存在的细微统计相关性进行预测，即便其为伪相关。然而，此类伪相关在测试环境中可能改变，致使 GNNs 失效。因此，消除伪相关的影响对稳定的 GNNs 至关重要。为此，我们提出一种称为 StableGNN 的通用因果表示框架。其主要思想是先从图数据中提取高层表示，并借助因果推断的判别能力帮助模型摆脱伪相关。特别地，我们利用图池化层提取基于子图的表示作为高层表示。此外，我们提出一种因果变量判别正则化器以修正有偏的训练分布。从而 GNNs 会更聚焦于稳定相关性。在合成与真实世界 OOD 图数据集上的大量实验很好地验证了所提框架的有效性、灵活性与可解释性。
引用
@article{arxiv.2111.10657,
title = {Generalizing Graph Neural Networks on Out-Of-Distribution Graphs},
author = {Shaohua Fan and Xiao Wang and Chuan Shi and Peng Cui and Bai Wang},
journal= {arXiv preprint arXiv:2111.10657},
year = {2024}
}
备注
IEEE TPAMI 2023