不变图学习结合信息瓶颈实现分布外泛化
机器学习
2025-02-14 v2 人工智能
机器学习
摘要
图分布外(OOD)泛化是图学习领域的一个主要挑战，因为图神经网络(GNN)在分布偏移下常常遭受严重的性能退化。不变学习旨在提取跨不同分布的不变特征，最近作为OOD问题的有前景方法出现。尽管不变学习在欧几里得数据(即图像)的OOD问题中取得了巨大成功，但在图数据中的探索仍受到图复杂本质的限制。现有研究，如数据增强或因果干预，要么在图操作过程中受到不变性破坏的影响，要么由于缺乏因果部分的监督信号而面临可靠性问题。在本工作中，我们提出了一种新的框架——基于信息瓶颈理论的不变图学习(InfoIGL)，用于提取图的不变特征并增强模型对未见分布的泛化能力。具体而言，InfoIGL引入冗余滤波器来压缩与环境因素相关的任务无关信息。与我们设计的多级对比学习相配合，我们最大化下游分类任务中同类图之间的互信息，在很大程度上保留了用于预测的不变特征。InfoIGL的一个显著特点是其强大的泛化能力，不依赖于不变性的监督信号。在合成和真实世界数据集上的实验证明，我们的方法在图分类任务的OOD泛化中达到了最先进性能。源代码可在https://github.com/maowenyu-11/InfoIGL获取。
引用
@article{arxiv.2408.01697,
title = {Invariant Graph Learning Meets Information Bottleneck for Out-of-Distribution Generalization},
author = {Wenyu Mao and Jiancan Wu and Haoyang Liu and Yongduo Sui and Xiang Wang},
journal= {arXiv preprint arXiv:2408.01697},
year = {2025}
}
备注
The article has been accepted by Frontiers of Computer Science (FCS), with the DOI: {10.1007/s11704-025-40798-3}