GraphMAE：自监督掩码图自编码器
机器学习
2022-07-14 v3
摘要
自监督学习（SSL）近年来得到了广泛探索。特别是，生成式 SSL 在自然语言处理和其他人工智能领域取得了新兴成功，例如 BERT 和 GPT 的广泛采用。尽管如此，在图 SSL 中，严重依赖结构数据增强和复杂训练策略的对比学习一直是主导方法，而生成式 SSL 在图上的进展，尤其是图自编码器（GAEs），迄今尚未达到其他领域所承诺的潜力。在本文中，我们识别并考察了负面影响 GAEs 发展的问题，包括其重构目标、训练鲁棒性和误差度量。我们提出了一种掩码图自编码器 GraphMAE，以缓解图生成式自监督预训练中的这些问题。我们提议专注于特征重构，而非重构图结构，并采用掩码策略和缩放余弦误差，以利于 GraphMAE 的鲁棒训练。我们在 21 个公共数据集上针对三种不同的图学习任务进行了大量实验。结果表明，GraphMAE——一个带有精心设计的简单图自编码器——能够持续地生成优于对比式和生成式最先进基线的性能。本研究提供了对图自编码器的理解，并展示了生成式自监督预训练在图上的潜力。
引用
@article{arxiv.2205.10803,
title = {GraphMAE: Self-Supervised Masked Graph Autoencoders},
author = {Zhenyu Hou and Xiao Liu and Yukuo Cen and Yuxiao Dong and Hongxia Yang and Chunjie Wang and Jie Tang},
journal= {arXiv preprint arXiv:2205.10803},
year = {2022}
}
备注
11 pages; Accepted to KDD'22