基于 Transformer 的图掩码自编码器
机器学习
2022-05-13 v2 信息检索
摘要
近来，transformers 在学习图表示方面展现出良好前景。然而，由于深层 transformer 难以从头训练且内存消耗随节点数呈二次增长，将其应用于真实场景仍存在一些挑战。本文提出 Graph Masked Autoencoders（GMAEs，图掩码自编码器），一种用于学习图表示的基于 transformer 的自监督模型。为应对上述两重挑战，我们采用掩码机制与非对称编码器-解码器设计。具体而言，GMAE 以部分掩码图作为输入，并重建被掩码节点的特征。编码器与解码器为非对称结构，其中编码器为深层 transformer，解码器为浅层 transformer。掩码机制与非对称设计使 GMAE 相比常规 transformer 成为内存高效的模型。我们表明，作为常规自监督图表示模型，GMAE 在常见下游评估协议下的图分类任务与节点分类任务中均达到 SOTA 性能。我们还表明，相比从头端到端训练，使用 GMAE 进行预训练与微调可在简化训练过程的同时取得相当的性能。
引用
@article{arxiv.2202.08391,
title = {Graph Masked Autoencoders with Transformers},
author = {Sixiao Zhang and Hongxu Chen and Haoran Yang and Xiangguo Sun and Philip S. Yu and Guandong Xu},
journal= {arXiv preprint arXiv:2202.08391},
year = {2022}
}