UGMAE：图掩码自编码器的统一框架
机器学习
2024-02-14 v1 人工智能
摘要
图上的生成式自监督学习，尤其是图掩码自编码器，已成为一种流行的学习范式，并在处理非欧几里得数据方面展示了其有效性。然而，现有方法的几个遗留问题限制了其能力：1) 忽略了掩码中节点重要性的不均匀性；2) 未充分利用整体图信息；3) 由于仅在输出空间使用重构损失，忽视了表示空间中的语义知识；4) 大量掩码内容导致重构不稳定。鉴于此，我们提出了 UGMAE，这是一个用于图掩码自编码器的统一框架，旨在从适应性、完整性、互补性和一致性角度解决这些问题。具体而言，我们首先开发了一种自适应特征掩码生成器，以考虑节点的独特重要性并采样信息丰富的掩码（适应性）。接着，我们设计了一种基于排序的结构重构目标，与特征重构相结合，以捕捉整体图信息并强调邻居间的拓扑邻近性（完整性）。随后，我们提出了一种基于自举的相似性模块，用于在表示空间中编码高层语义知识，作为对输出空间中低层重构的补充（互补性）。最后，我们构建了一致性保证模块，为重构目标提供额外的稳定化一致性目标（一致性）。大量实验表明，UGMAE 在多个数据集的若干任务上均优于对比式和生成式的最先进基线模型。
引用
@article{arxiv.2402.08023,
title = {UGMAE: A Unified Framework for Graph Masked Autoencoders},
author = {Yijun Tian and Chuxu Zhang and Ziyi Kou and Zheyuan Liu and Xiangliang Zhang and Nitesh V. Chawla},
journal= {arXiv preprint arXiv:2402.08023},
year = {2024}
}