通过噪声治理实现图神经网络的鲁棒训练
机器学习
2023-02-28 v2 人工智能
摘要
图神经网络(GNNs)已成为广泛使用的半监督学习模型。然而,GNNs在标签噪声存在下的鲁棒性仍是一个很大程度上未被充分探索的问题。本文考虑一个重要且具挑战性的场景:图节点上的标签不仅含噪而且稀缺。在此场景下,GNNs的性能易因标签噪声传播和学习不足而退化。为解决这些问题,我们提出一种新颖的RTGNN(通过噪声治理实现图神经网络的鲁棒训练)框架,通过学习显式治理标签噪声来实现更好的鲁棒性。更具体地,我们引入自增强与一致性正则化作为补充监督。自增强监督受深度神经网络记忆效应启发,旨在纠正噪声标签。此外,一致性正则化通过视图间与视图内视角的模仿损失防止GNNs过拟合到噪声标签。为利用此类监督,我们将标签划分为干净与噪声两类,修正不准确标签,并进一步在未标记节点上生成伪标签。随后自适应选择具有不同类型标签的节点的监督。这使得从干净标签的充分学习得以实现,同时限制噪声标签的影响。我们进行了大量实验评估RTGNN框架的有效性,结果验证了其在两类标签噪声及各种噪声率下相对于最先进方法的一致优越性能。
引用
@article{arxiv.2211.06614,
title = {Robust Training of Graph Neural Networks via Noise Governance},
author = {Siyi Qian and Haochao Ying and Renjun Hu and Jingbo Zhou and Jintai Chen and Danny Z. Chen and Jian Wu},
journal= {arXiv preprint arXiv:2211.06614},
year = {2023}
}
备注
9 pages, accepted to WSDM 2023 Research Track