通过生成式方法探索图表示学习中的任务统一
机器学习
2024-03-22 v1 人工智能
摘要
图在现实场景中无处不在，涵盖从节点级、边级、图级任务到迁移学习的多种任务。然而，为每种图数据类型设计特定任务通常成本高昂且缺乏泛化性。近期在“预训练+微调”或“预训练+提示”范式下的努力旨在设计一个能够泛化到多种图任务的统一框架。其中，图自编码器（GAEs）作为生成式自监督模型，已展现出有效处理各类图任务的潜力。尽管如此，这些方法通常采用多阶段训练并需要自适应设计，一方面使其难以无缝应用于多样化的图任务，另一方面忽视了不同阶段任务目标差异带来的负面影响。为应对这些挑战，我们提出 GA^2E，一个统一的对抗掩码自编码器，能够无缝解决上述挑战。具体而言，GA^2E 提出以子图作为元结构，该结构在所有图任务（从节点级、边级、图级到迁移学习）和所有阶段（训练和推理期间）保持一致。此外，GA^2E 以“先生成后判别”的方式运行。它利用掩码 GAE 重建输入子图，同时将其视为生成器，迫使重建图与输入子图相似。更进一步，GA^2E 引入辅助判别器来辨别重建（生成）子图与输入子图的真伪，从而通过对抗训练机制确保图表示的鲁棒性。我们通过在四类图任务的 21 个数据集上进行广泛实验，验证了 GA^2E 的能力。
引用
@article{arxiv.2403.14340,
title = {Exploring Task Unification in Graph Representation Learning via Generative Approach},
author = {Yulan Hu and Sheng Ouyang and Zhirui Yang and Ge Chen and Junchen Wan and Xiao Wang and Yong Liu},
journal= {arXiv preprint arXiv:2403.14340},
year = {2024}
}