通过深度伪信息最大化赋能图不变性学习
机器学习
2024-07-17 v1
摘要
最近，开发利用图上不变性原理的图神经网络以泊然学习分布外（OOD）数据的泛化能力越来越受到关注。由于对OD数据有限的了解，现有方法常常对底层虚假特征与目标标签之间的相关性强度提出假设。然而，这种先验条件在现实场景中往往不可用且会任意变化，这可能导致现有的图不变性学习方法出现严重失效。为弥合这一差距，我们引入一种新的图不变性学习范式，通过这种范式诱导稳健和通用的归纳偏置。该范式基于信息最大化原则鼓励学习无论虚假相关强度如何的虚假特征。我们进一步提出EQuAD框架实现了这一学习范式，并采用量身定制的学习目标通过解耦通过信息最大化学习的虚假特征来诱导不变特征。值得注意的是，EQuAD在合成数据集和具有挑战性的真实世界数据集上表现出稳定且提升后的性能，提升幅度最高可达。我们的代码已提供。
引用
@article{arxiv.2407.11083,
title = {Empowering Graph Invariance Learning with Deep Spurious Infomax},
author = {Tianjun Yao and Yongqiang Chen and Zhenhao Chen and Kai Hu and Zhiqiang Shen and Kun Zhang},
journal= {arXiv preprint arXiv:2407.11083},
year = {2024}
}
备注
ICML2024 camera-ready version