从对齐性与均匀性重新审视图掩码自编码器
机器学习
2024-02-13 v1
摘要
图上的自监督学习可分为对比式与生成式两类。对比式方法,亦称图对比学习(GCL),在过去几年中主导了图自监督学习领域,但近期图掩码自编码器(GraphMAE)的出现重新点燃了生成式方法的势头。尽管 GraphMAE 在经验上取得了成功,但对其有效性的理论理解仍然匮乏。此外,虽然生成式和对比式方法均被证明有效,但它们之间的联系与差异尚未得到深入研究。因此,我们从理论上在 GraphMAE 与 GCL 之间架起了一座桥梁,并证明了 GraphMAE 中的节点级重建目标隐式地执行了上下文级 GCL。基于我们的理论分析,我们进一步从对齐性与均匀性的角度识别了 GraphMAE 的局限性,这两者被认为是 GCL 中高质量表征的两个关键属性。我们指出,GraphMAE 的对齐性能受掩码策略的限制,且其均匀性并未得到严格保证。为了弥补上述局限性,我们提出了一种对齐-均匀性增强的图掩码自编码器,命名为 AUG-MAE。具体而言,我们提出了一种由易到难的对抗性掩码策略,以提供难以对齐的样本,从而提升对齐性能。同时,我们引入了一个显式的均匀性正则化项,以确保所学表征的均匀性。在基准数据集上的实验结果证明了我们的模型优于现有的最先进方法。
引用
@article{arxiv.2402.07225,
title = {Rethinking Graph Masked Autoencoders through Alignment and Uniformity},
author = {Liang Wang and Xiang Tao and Qiang Liu and Shu Wu and Liang Wang},
journal= {arXiv preprint arXiv:2402.07225},
year = {2024}
}
备注
Accepted by AAAI 2024