中文

处理图上的分布偏移:不变性视角

机器学习 2024-08-19 v5 人工智能

摘要

越来越多的证据表明神经网络对分布偏移敏感,使得分布外 (OOD) 泛化研究成为焦点。然而,当前工作大多聚焦于欧氏数据,鉴于双重基本挑战,其在图结构数据上的表述尚不清晰且未被充分探索:1) 一个图中节点间的相互连接导致即使在同一环境下数据点的非独立同分布生成;2) 输入图中的结构信息对预测同样具有信息量。本文中,我们形式化了图上的 OOD 问题,并提出了一种新不变学习方法——探索至外推风险最小化 (EERM),它促使图神经网络利用不变性原理进行预测。EERM 借助多个上下文探索器(在我们的设定中指定为图结构编辑器)以对抗方式训练,以最大化来自多个虚拟环境的风险方差。这样的设计使模型能从单一观测环境外推,而这是节点级预测的常见情形。我们通过理论证明该方法保证有效 OOD 解的有效性,并进一步在多个真实数据集上展示其在处理来自人为虚假特征、跨域迁移和动态图演化的分布偏移方面的能力。

关键词

引用

@article{arxiv.2202.02466,
  title  = {Handling Distribution Shifts on Graphs: An Invariance Perspective},
  author = {Qitian Wu and Hengrui Zhang and Junchi Yan and David Wipf},
  journal= {arXiv preprint arXiv:2202.02466},
  year   = {2024}
}

备注

ICLR2022, 30 pages