用于图分布外泛化的因果不变表示学习
机器学习
2022-10-12 v3
摘要
尽管近期在欧氏数据（如图像）上利用不变性原理进行分布外（OOD）泛化取得了成功，但针对图数据的研究仍然有限。与图像不同，图的复杂性给采用不变性原理带来了独特挑战。特别地，图上的分布偏移可能以多种形如属性和结构的形式出现，使得识别不变性十分困难。此外，欧氏数据上 OOD 方法常需要的域或环境划分，对于图而言获取成本可能极高。为弥补这一差距，我们提出了一种称为因果启发的不变图学习（CIGA）的新框架，以捕获图的不变性，从而在多种分布偏移下保证 OOD 泛化。具体而言，我们用因果模型刻画图上潜在的分布偏移，得出结论：当模型仅关注包含标签成因最多信息的子图时，图上的 OOD 泛化是可实现的。相应地，我们提出了一个信息论目标来提取最大程度保留不变类内信息的所需子图。基于这些子图的学习对分布偏移具有免疫性。在 16 个合成或真实世界数据集（包括来自 AI 辅助药物发现的具有挑战性的设置——DrugOOD）上的大量实验验证了 CIGA 优越的 OOD 性能。
引用
@article{arxiv.2202.05441,
title = {Learning Causally Invariant Representations for Out-of-Distribution Generalization on Graphs},
author = {Yongqiang Chen and Yonggang Zhang and Yatao Bian and Han Yang and Kaili Ma and Binghui Xie and Tongliang Liu and Bo Han and James Cheng},
journal= {arXiv preprint arXiv:2202.05441},
year = {2022}
}
备注
NeurIPS2022, 46 pages, 72 figures