面向分布外泛化的个体与结构图信息瓶颈
机器学习
2023-06-29 v1 人工智能
计算机视觉与模式识别
摘要
分布外（OOD）图泛化对许多现实应用至关重要。现有方法忽视丢弃与标签无关的输入的伪或噪声特征。此外，它们主要进行实例级类不变图学习，未能利用图实例间的结构类关系。本工作中，我们致力于在统一框架中解决这些问题，称为个体与结构图信息瓶颈（IS-GIB）。为去除由分布偏移引起的类伪特征，我们提出个体图信息瓶颈（I-GIB），其通过最小化输入图与其嵌入间的互信息来丢弃无关信息。为利用结构域内与域间相关性，我们提出结构图信息瓶颈（S-GIB）。具体地，对于含多域的一批图，S-GIB首先计算成对的输入-输入、嵌入-嵌入与标签-标签相关性。随后它最小化输入图与嵌入对间的互信息，同时最大化嵌入与标签对间的互信息。S-GIB的关键洞见是从高阶视角同时丢弃伪特征并学习不变特征，通过维持多分布偏移下的类关系。值得注意的是，我们将提出的I-GIB与S-GIB统一构成互补框架IS-GIB。在节点级与图级任务上的大量实验一致展示了IS-GIB优越的泛化能力。代码见 https://github.com/YangLing0818/GraphOOD。
引用
@article{arxiv.2306.15902,
title = {Individual and Structural Graph Information Bottlenecks for Out-of-Distribution Generalization},
author = {Ling Yang and Jiayi Zheng and Heyuan Wang and Zhongyi Liu and Zhilin Huang and Shenda Hong and Wentao Zhang and Bin Cui},
journal= {arXiv preprint arXiv:2306.15902},
year = {2023}
}
备注
Accepted by IEEE Transactions on Knowledge and Data Engineering (TKDE)