具有自标签增强训练的可扩展自适应图神经网络
机器学习
2021-07-02 v3 人工智能
摘要
直接在大规模图上实现图神经网络(GNNs)是困难的。除了已有的邻居采样技术外,可扩展方法将图卷积和其他可学习变换解耦为预处理和后分类器,从而允许正常的minibatch训练。通过在SIGN中用注意力机制替换冗余的拼接操作,我们提出了可扩展自适应图神经网络(SAGN)。SAGN可以自适应地聚合不同跳数之间的邻域信息。为了进一步提升可扩展模型在半监督学习任务上的表现,我们提出了自标签增强(SLE)框架,深度结合自训练方法和标签传播。我们在基础模型上增加一个可扩展的节点标签模块。然后我们在多个阶段中迭代训练模型并增强训练集。为了生成节点标签模块的输入,我们直接基于独热编码标签向量应用标签传播,而不使用内部随机掩码。我们发现经验上在图卷积后标签泄漏已得到有效缓解。增强训练集中的硬伪标签与真实标签一起参与标签传播。在归纳式和转导式数据集上的实验表明,与其他基于采样和无采样的方法相比,SAGN取得了更好或相当的结果,且SLE能进一步提升性能。
引用
@article{arxiv.2104.09376,
title = {Scalable and Adaptive Graph Neural Networks with Self-Label-Enhanced training},
author = {Chuxiong Sun and Hongming Gu and Jie Hu},
journal= {arXiv preprint arXiv:2104.09376},
year = {2021}
}
备注
23 pages, 13 figures, fixed typos, add authors