融合异质性、归纳性与高效性的图表示学习
社会与信息网络
2021-04-13 v2 机器学习
摘要
随着图结构数据在各种应用中的普遍存在，能够学习紧凑而富有表现力的节点向量表示的模型变得极为重要。近来，秉持消息传递范式的图神经网络（GNNs）大幅推动了图上节点表示学习的性能。然而，大多数 GNNs 仅针对同构图设计，导致其对含有多种类型节点与边的信息更丰富的异构图适应性较差。此外，尽管归纳式地为全新节点（例如流式场景中）生成表示十分必要，却鲜有异构图神经网络能摆脱转导式学习框架——该框架要求训练时所有节点均已知。再者，多数异构图神经网络因其为提取各元路径或关系所关联语义的复杂设计，训练效率受限。本文提出 WIde and DEep message passing Network（WIDEN）以应对上述关于异质性、归纳性与效率的问题，这三者极少在图表示学习中被共同研究。在 WIDEN 中，我们提出一种新颖的、归纳式的、无元路径的消息传递方案，将异构节点特征与其来自低阶和高阶邻居节点的关联边一并打包。为进一步提升训练效率，我们创新性地提出一种主动下采样策略，丢弃不重要的邻居节点以加速信息传播。在三个真实异构图上的实验进一步验证了 WIDEN 在转导与归纳式节点表示学习上的有效性，以及相对于 SOTA 基线的优越训练效率。
引用
@article{arxiv.2104.01711,
title = {Uniting Heterogeneity, Inductiveness, and Efficiency for Graph Representation Learning},
author = {Tong Chen and Hongzhi Yin and Jie Ren and Zi Huang and Xiangliang Zhang and Hao Wang},
journal= {arXiv preprint arXiv:2104.01711},
year = {2021}
}
备注
Manuscript is under review