对抗权重扰动提升图神经网络的泛化能力
机器学习
2023-02-21 v3
摘要
大量理论与实证证据表明，更平坦的局部极小值往往能改善泛化能力。对抗权重扰动（Adversarial Weight Perturbation, AWP）是一种新兴技术，可高效且有效地寻找此类极小值。在 AWP 中，我们针对模型参数的有界最坏情况扰动最小化损失，从而偏好其邻域内损失较小的局部极小值。AWP 的益处，以及更一般地平坦度与泛化之间的联系，已在图像等独立同分布（i.i.d.）数据上得到广泛研究。本文中，我们针对图数据广泛研究该现象。在此过程中，我们首先推导了非独立同分布节点分类任务的泛化界。随后，我们指出所有现有 AWP 公式均存在梯度消失问题，并提出了一种新的加权截断 AWP（WT-AWP）以缓解该问题。我们表明，使用 WT-AWP 正则化图神经网络，能在多种不同图学习任务与模型上持续提升自然泛化与鲁棒泛化。
引用
@article{arxiv.2212.04983,
title = {Adversarial Weight Perturbation Improves Generalization in Graph Neural Networks},
author = {Yihan Wu and Aleksandar Bojchevski and Heng Huang},
journal= {arXiv preprint arXiv:2212.04983},
year = {2023}
}
备注
AAAI 2023 (oral)