CAP：权重与特征上的协同对抗扰动以提升图神经网络泛化能力
机器学习
2021-10-29 v1
摘要
尽管图神经网络（GNNs）在建模图数据方面近期取得进展，但由于过拟合，在大型数据集上训练 GNNs notoriously 困难。对抗训练通过以最坏情况对抗样本增广数据，已被广泛证明可提升模型对抗恶意攻击的鲁棒性与泛化能力。然而，先前对抗训练通常聚焦于保护 GNNs 免受恶意攻击，仍不清楚对抗训练如何提升 GNNs 在图分析任务中的泛化能力。本文从权重与特征损失景观（即损失分别相对于模型权重与节点特征的变化）的视角考察 GNNs。我们得出结论：GNNs 易落入这两类损失景观中的尖锐局部极小，此时泛化性能差。为解决该问题，我们构建关于权重与特征的协同对抗扰动（CAP）优化问题，并设计交替对抗扰动算法以交替平坦化权重与特征损失景观。此外，我们将训练过程分为两阶段：一阶段执行标准交叉熵最小化以确保 GNN 模型快速收敛，另一阶段应用我们的交替对抗训练以避免落入局部尖锐极小。大量实验表明，我们的 CAP 可普遍提升 GNNs 在多种基准图数据集上的泛化性能。
引用
@article{arxiv.2110.14855,
title = {CAP: Co-Adversarial Perturbation on Weights and Features for Improving Generalization of Graph Neural Networks},
author = {Haotian Xue and Kaixiong Zhou and Tianlong Chen and Kai Guo and Xia Hu and Yi Chang and Xin Wang},
journal= {arXiv preprint arXiv:2110.14855},
year = {2021}
}