GraphMAE2:一种解码增强的掩码自监督图学习器
机器学习
2023-04-12 v1
摘要
图自监督学习(SSL)包括对比式和生成式方法,为应对真实图数据中标签稀缺这一根本挑战提供了巨大潜力。在这两类图 SSL 技术中,掩码图自编码器(如 GraphMAE)——一种生成式方法——近期取得了令人鼓舞的结果。其背后的思想是利用自编码器架构重构从输入中随机掩码的节点特征(或结构)。然而,掩码特征重构的性能自然依赖于输入特征的可判别性,且通常易受特征中扰动的干扰。本文提出一种掩码自监督学习框架 GraphMAE2,旨在克服该问题。其思想是对图 SSL 的特征重构施加正则化。具体而言,我们设计了多视图随机重掩码解码和隐表示预测策略来正则化特征重构。多视图随机重掩码解码在特征空间中引入随机性,而隐表示预测在嵌入空间中强化重构。大量实验表明,GraphMAE2 能在多个公开数据集上持续取得顶尖结果,在含 1.11 亿节点和 16 亿边的 ogbn-Papers100M 上较 SOTA 基线提升至少 2.45%。
引用
@article{arxiv.2304.04779,
title = {GraphMAE2: A Decoding-Enhanced Masked Self-Supervised Graph Learner},
author = {Zhenyu Hou and Yufei He and Yukuo Cen and Xiao Liu and Yuxiao Dong and Evgeny Kharlamov and Jie Tang},
journal= {arXiv preprint arXiv:2304.04779},
year = {2023}
}
备注
Accepted to WWW'23