通过鲁棒聚合实现可靠图神经网络
机器学习
2020-10-30 v1 机器学习
摘要
针对图结构的扰动已被证明能极其有效地降低图神经网络（GNN）的性能，而对抗训练等传统防御手段似乎无法提升鲁棒性。这项工作的动机源于如下观察：对抗注入的边实际上可视为节点邻域聚合函数的额外样本，导致失真聚合在多层间累积。传统的 GNN 聚合函数（如求和或均值）会被单个离群值任意扭曲。我们受鲁棒统计领域启发，提出了一种鲁棒聚合函数。我们的方法具有最大可能的 0.5 崩溃点，这意味着只要节点的对抗边比例低于 50%，聚合的偏差就有界。我们新颖的聚合函数 Soft Medoid 是 Medoid 的完全可微推广，因此非常适合于端到端深度学习。为 GNN 配备我们的聚合后，在 Cora ML 上针对结构扰动的鲁棒性提升了 3 倍（在 Citeseer 上为 5.5 倍），对于低度节点则提升了 8 倍。
引用
@article{arxiv.2010.15651,
title = {Reliable Graph Neural Networks via Robust Aggregation},
author = {Simon Geisler and Daniel Zügner and Stephan Günnemann},
journal= {arXiv preprint arXiv:2010.15651},
year = {2020}
}
备注
23 pages, 9 figures, 6 Tables, Neural Information Processing Systems, NeurIPS, 2020