基于拓扑自适应边丢弃的鲁棒图神经网络训练
机器学习
2021-06-08 v1 信号处理
摘要
图神经网络（GNNs）是利用图结构信息从网络数据中建模表示的处架构。尽管取得了成功，GNNs 在训练数据有限时存在泛化性能次优的问题，即过拟合。本文提出拓扑自适应边丢弃（TADropEdge）方法，作为一种自适应数据增强技术，以改善泛化性能并学习鲁棒的 GNN 模型。我们首先显式分析了随机边丢弃如何在训练期间增加数据多样性，同时指出独立同分布（i.i.d.）的边丢弃未考虑图结构信息，可能导致噪声增强数据从而降级性能。为克服该问题，我们将图连通性视为捕捉图拓扑的关键属性。TADropEdge 将该因素引入随机边丢弃，使得丢弃边后的子图保持与底层图相似的拓扑，产生更令人满意的增强数据。具体而言，TADropEdge 首先利用图谱为图边分配恰当权重，这些权重表示各边对建立图连通性的关键程度。随后其对边权重进行归一化，并基于归一化权重自适应丢弃图边。除改善泛化性能外，TADropEdge 降低方差以实现高效训练，并可作为通用模块应用于不同 GNN 模型。在真实与合成数据集上的大量实验佐证了理论并验证了所提方法的有效性。
引用
@article{arxiv.2106.02892,
title = {Training Robust Graph Neural Networks with Topology Adaptive Edge Dropping},
author = {Zhan Gao and Subhrajit Bhattacharya and Leiming Zhang and Rick S. Blum and Alejandro Ribeiro and Brian M. Sadler},
journal= {arXiv preprint arXiv:2106.02892},
year = {2021}
}