剖析图上不变学习的失败
机器学习
2025-01-06 v3 人工智能
摘要
增强图上节点级别的分布外（OOD）泛化能力仍然是研究的重要方向。本文开发了一个结构因果模型（SCM），从理论上剖析两种突出的不变学习方法——不变风险最小化（IRM）和方差-风险外推（VREx）——在节点级别 OOD 设置中的性能。我们的分析揭示了一个关键局限：由于缺乏类别条件不变性约束，这些方法可能难以准确识别预测不变自图的结构，因而依赖于虚假特征。为解决这一问题，我们提出了跨环境类内对齐（CIA），通过基于相同类别条件对齐跨环境表示来显式消除虚假特征，无需显式了解因果模式结构。为使 CIA 适应环境标签难以获取的节点级别 OOD 场景，我们进一步提出了 CIA-LRA（局部重加权对齐），它利用邻域标签的分布来有选择地对齐节点表示，有效区分并保留不变特征，同时去除虚假特征，且不依赖环境标签。我们通过基于 PAC-Bayesian 分析推导 OOD 泛化误差界，在理论上证明了 CIA-LRA 的有效性。图 OOD 基准上的实验验证了 CIA 和 CIA-LRA 的优越性，标志着节点级别 OOD 泛化的重大进展。代码可在 https://github.com/NOVAglow646/NeurIPS24-Invariant-Learning-on-Graphs 获取。
引用
@article{arxiv.2411.02847,
title = {Dissecting the Failure of Invariant Learning on Graphs},
author = {Qixun Wang and Yifei Wang and Yisen Wang and Xianghua Ying},
journal= {arXiv preprint arXiv:2411.02847},
year = {2025}
}