面向图对比预训练的相似性感知正实例采样
机器学习
2022-06-27 v1 人工智能
摘要
图实例对比学习已被证明是图神经网络（GNN）预训练的一项有效任务。然而，一个关键问题可能严重削弱现有工作的表征能力：当前方法创建的正实例常常遗漏图的关键信息，甚至产生非法实例（例如分子生成中不符合化学规律的图）。为弥补这一问题，我们提出直接从训练集中已有的图里选取正图实例，从而最终保持合法性并与目标图相似。我们的选取基于特定的领域相关成对相似性度量，以及从编码图间相似性关系的层次化图中进行采样。此外，我们开发了一种自适应节点级预训练方法，动态掩码节点使其在图中均匀分布。我们在来自不同领域的 个图分类与节点分类基准数据集上进行了大量实验。结果表明，经我们策略预训练的 GNN 模型优于从头训练的模型以及现有方法得到的变体。
引用
@article{arxiv.2206.11959,
title = {Similarity-aware Positive Instance Sampling for Graph Contrastive Pre-training},
author = {Xueyi Liu and Yu Rong and Tingyang Xu and Fuchun Sun and Wenbing Huang and Junzhou Huang},
journal= {arXiv preprint arXiv:2206.11959},
year = {2022}
}
备注
31 pages, 2 figures