重新审视图机器学习中的鲁棒性
机器学习
2023-05-03 v2
摘要
许多工作表明,图神经网络(GNNs)的节点级预测对图结构微小(常称为对抗性的)变化缺乏鲁棒性。然而,由于人工检视图较为困难,尚不清楚所研究的扰动是否始终保留对抗样本的一个核心假设:语义内容不变。为解决此问题,我们引入一种更具原则性的对抗图概念,其能感知语义内容变化。利用上下文随机块模型(CSBMs)与真实世界图,我们的结果揭示: 对于大多数节点,盛行的扰动模型包含大量违反语义不变假设的扰动图; 令人惊讶的是,所有被评估的GNN都表现出过度鲁棒性——即在语义变化点之外仍具鲁棒性。我们发现这是与对抗样本互补的现象,并表明将训练图的标签结构纳入GNN的推断过程可显著减少过度鲁棒性,同时对测试精度与对抗鲁棒性有正向作用。理论上,借助我们新的语义感知鲁棒性概念,我们证明对于归纳式分类新加入节点不存在鲁棒性—准确性权衡。
引用
@article{arxiv.2305.00851,
title = {Revisiting Robustness in Graph Machine Learning},
author = {Lukas Gosch and Daniel Sturm and Simon Geisler and Stephan Günnemann},
journal= {arXiv preprint arXiv:2305.00851},
year = {2023}
}
备注
Published as a conference paper at ICLR 2023. Preliminary version accepted as an oral at the NeurIPS 2022 TSRML workshop and at the NeurIPS 2022 ML safety workshop