让不变性原理发现启发图对比学习
机器学习
2022-06-17 v1
摘要
主流图对比学习（GCL）方法以两种方式进行图增广：(1) 随机破坏锚图，可能导致语义信息丢失；或 (2) 利用领域知识保留显著特征，却有损于对其他领域的泛化。以不变性视角审视GCL，我们认为高性能增广应保留锚图关于实例判别的显著语义。为此，我们将GCL与不变性原理发现相关联，提出新框架——原理感知图对比学习（RGCL）。具体而言，在无监督信号下，RGCL使用原理生成器揭示关于图实例判别的显著特征作为原理，进而创建原理感知视图用于对比学习。该原理感知预训练方案赋予骨干模型强大的表示能力，进一步促进下游任务的微调。在MNIST-Superpixel与MUTAG数据集上，对发现原理的可视化检查显示原理生成器成功捕获了显著特征（即图中具区分性的语义节点）。在生化分子与社会网络基准数据集上，RGCL的SOTA性能证明了原理感知视图对对比学习的有效性。我们的代码见 https://github.com/lsh0520/RGCL。
引用
@article{arxiv.2206.07869,
title = {Let Invariant Rationale Discovery Inspire Graph Contrastive Learning},
author = {Sihang Li and Xiang Wang and An zhang and Yingxin Wu and Xiangnan He and Tat-Seng Chua},
journal= {arXiv preprint arXiv:2206.07869},
year = {2022}
}
备注
Graph contrastive Learning, Invariant Rationale Discovery, ICML2022