何处掩码：图掩码自编码器的结构引导掩码策略
机器学习
2024-04-25 v1
摘要
图掩码自编码器（GMAE）已成为图结构数据自监督预训练的一项重要进展。以往的GMAE模型在训练过程中主要采用简单的随机节点或边掩码策略。然而，这种策略未能考虑图结构中不同节点的重要性差异。在本文中，我们研究了利用图的结构组成作为掩码预训练过程中一个基本且独特的先验的潜力。为此，我们引入了一种新颖的结构引导掩码策略（即StructMAE），旨在改进现有的GMAE模型。StructMAE包括两个步骤：1）基于结构的评分：每个节点被评估并分配一个反映其结构重要性的分数。提出了两种不同类型的评分方式：预定义评分和可学习评分。2）结构引导掩码：利用获得的评估分数，我们开发了一种从易到难的掩码策略，逐步增加自监督重建任务的结构感知能力。具体来说，该策略从随机掩码开始，然后根据评估分数逐步过渡到掩码结构信息丰富的节点。这种设计逐步且有效地引导模型学习图结构信息。此外，大量实验一致表明，我们的StructMAE方法在无监督和迁移学习任务中均优于现有的最先进GMAE模型。代码可在https://github.com/LiuChuang0059/StructMAE获取。
引用
@article{arxiv.2404.15806,
title = {Where to Mask: Structure-Guided Masking for Graph Masked Autoencoders},
author = {Chuang Liu and Yuyao Wang and Yibing Zhan and Xueqi Ma and Dapeng Tao and Jia Wu and Wenbin Hu},
journal= {arXiv preprint arXiv:2404.15806},
year = {2024}
}
备注
9 pages, 3 Figures. Accepted by IJCAI 2024