MARIO：改进图对比学习 OOD 泛化的模型无关方案
机器学习
2023-08-03 v3
摘要
在本工作中，我们研究图数据上无监督学习方法的分布外（OOD）泛化问题。该场景尤其具有挑战性，因为图神经网络（GNNs）已被证明对分布偏移敏感，即便在标签可用时也是如此。为应对这一挑战，我们提出了一种用于改进无监督图对比学习方法 OOD 泛化能力的模型无关方案（\underline{M}odel-\underline{A}gnostic \underline{R}ecipe for \underline{I}mproving \underline{O}OD generalizability），简称为 MARIO。MARIO 引入两条原则以发展对分布偏移鲁棒的图对比方法，克服现有框架的局限：（i）用于获得可泛化表示的信息瓶颈（IB）原则；（ii）结合对抗数据增强以获取不变表示的不变性原则。据我们所知，这是首个研究图对比学习 OOD 泛化问题的工作，且特别关注节点级任务。通过大量实验，我们证明该方法在 OOD 测试集上取得了最先进的性能，同时与现有方法相比在分布内测试集上保持了相当的性能。我们的方法源代码见：https://github.com/ZhuYun97/MARIO
引用
@article{arxiv.2307.13055,
title = {MARIO: Model Agnostic Recipe for Improving OOD Generalization of Graph Contrastive Learning},
author = {Yun Zhu and Haizhou Shi and Zhenshuo Zhang and Siliang Tang},
journal= {arXiv preprint arXiv:2307.13055},
year = {2023}
}
备注
21 pages, 15 figures