G5：用于图到图迁移与末日学习的通用 GRAPH-BERT
机器学习
2020-06-12 v1 神经与进化计算
社会与信息网络
机器学习
摘要
近期的 GRAPH-BERT 模型引入了一种仅基于注意力机制学习图表示的新方法。GRAPH-BERT 为在同一图数据集内跨不同任务迁移预训练模型与所学图表示提供了可能。本文中，我们将进一步研究用于跨不同图数据集图表示学习的通用 GRAPH-BERT 的图到图迁移，我们所提模型为简便起见亦称为 G5。在学习 G5 以适应各图数据源不同的输入与输出配置以及信息分布差异方面存在诸多挑战。G5 引入了一种可插拔模型架构：(a) 每个数据源将经由唯一的输入表示学习组件进行预处理；(b) 每个输出应用任务也将具有特定的功能组件；(c) 所有此类异构输入与输出组件将分别通过输入尺寸统一层与输出表示融合层连接至一个通用 GRAPH-BERT 核心组件。G5 模型消除了跨图表示学习与迁移的最后障碍。对于训练数据极稀疏的图源，在其他图上预训练的 G5 模型仍可用于表示学习并辅以必要的微调。此外，G5 的架构还允许我们为完全无任何训练数据的数据源学习一个有监督功能分类器。该问题在本文中亦被称为末日学习（Apocalypse Learning）任务。本文引入了两种不同标签推理策略，即跨源分类一致性最大化（CCCM）与跨源动态路由（CDR），以解决该问题。
引用
@article{arxiv.2006.06183,
title = {G5: A Universal GRAPH-BERT for Graph-to-Graph Transfer and Apocalypse Learning},
author = {Jiawei Zhang},
journal= {arXiv preprint arXiv:2006.06183},
year = {2020}
}
备注
Keywords: Graph-Bert; Representation Learning; Apocalypse Learning; Transfer Learning; Graph Mining; Data Mining