异质图掩码自编码器
机器学习
2023-02-13 v2
摘要
生成式自监督学习（SSL），尤其是掩码自编码器，已成为最令人瞩目的学习范式之一，并在处理图数据方面展现出巨大潜力。然而，真实世界的图总是异质的，这带来了现有方法忽视的三个关键挑战：1）如何捕捉复杂图结构？2）如何融合多种节点属性？3）如何编码不同节点位置？有鉴于此，我们研究异质图上的生成式 SSL 问题，并提出 HGMAE，一种新颖的异质图掩码自编码器模型来应对这些挑战。HGMAE 通过两种创新掩码技术与三种独特训练策略捕捉全面的图信息。具体而言，我们首先提出元路径掩码与具有动态掩码率的自适应属性掩码，以在异质图上实现有效且稳定的学习。随后我们设计若干训练策略，包括基于元路径的边重建以采纳复杂结构信息、目标属性恢复以融合多种节点属性、以及位置特征预测以编码节点位置信息。大量实验表明，在多个数据集的若干任务上，HGMAE 优于对比式与生成式最先进基线。代码见 https://github.com/meettyj/HGMAE。
引用
@article{arxiv.2208.09957,
title = {Heterogeneous Graph Masked Autoencoders},
author = {Yijun Tian and Kaiwen Dong and Chunhui Zhang and Chuxu Zhang and Nitesh V. Chawla},
journal= {arXiv preprint arXiv:2208.09957},
year = {2023}
}
备注
Accepted by AAAI 2023 (Oral)