GiGaMAE：基于协同潜空间重构的可泛化图掩码自编码器
机器学习
2023-08-21 v1 人工智能
摘要
基于掩码自编码器的自监督学习近年来因其能够生成有效的图像或文本表示而受到关注，这些表示可应用于多种下游任务而无需重新训练。然而，我们观察到当前的掩码自编码器模型在图数据上缺乏良好的泛化能力。为解决此问题，我们提出了一种名为 GiGaMAE 的新型图掩码自编码器框架。与现有通过显式重构原始图组件（如特征或边）来学习节点表示的掩码自编码器不同，本文提出协同重构信息丰富且整合的潜嵌入。通过将涵盖图拓扑与属性信息的嵌入作为重构目标，我们的模型能够捕获更具泛化性与全面性的知识。此外，我们引入了一种基于互信息的重构损失，可实现多目标的有效重构。该学习目标使我们能够区分从单一目标学到的独占知识与多目标共享的共性知识。我们在三个下游任务、七个数据集上作为基准评估了我们的方法。大量实验证明了 GiGaMAE 相对于最先进基线的优越性。我们希望我们的结果能为图结构数据上基础模型的设计提供启示。我们的代码见：https://github.com/sycny/GiGaMAE。
引用
@article{arxiv.2308.09663,
title = {GiGaMAE: Generalizable Graph Masked Autoencoder via Collaborative Latent Space Reconstruction},
author = {Yucheng Shi and Yushun Dong and Qiaoyu Tan and Jundong Li and Ninghao Liu},
journal= {arXiv preprint arXiv:2308.09663},
year = {2023}
}
备注
Accepted by CIKM 2023