大语言模型能否提升图神经网络的对抗鲁棒性？
机器学习
2024-12-25 v3 人工智能
计算机与社会
社会与信息网络
摘要
图神经网络（GNN）易受对抗攻击，尤其是拓扑扰动，许多提升GNN鲁棒性的方法已受到广泛关注。近期，我们见证了大型语言模型（LLM）的显著成功，促使许多人探索LLM在GNN中的巨大潜力。然而，他们主要关注通过利用LLM增强节点特征来提升GNN性能。因此我们提出问题：GNN的鲁棒性是否也会因LLM强大的理解和推理能力而增强？通过呈现经验结果，我们发现尽管LLM可以提升GNN的鲁棒性，但准确率平均仍下降23.1%，表明GNN对拓扑攻击仍然极其脆弱。因此，另一个问题是如何扩展LLM在图对抗鲁棒性方面的能力。本文提出了一种基于LLM的鲁棒图结构推理框架LLM4RGNN，该框架将GPT-4的推理能力蒸馏为用于识别恶意边的局部LLM，以及用于寻找缺失重要边的基于语言模型的边预测器，从而恢复鲁棒的图结构。大量实验表明，LLM4RGNN一致地提升了各种GNN的鲁棒性。即使在某些扰动率增加到40%的情况下，GNN的准确率仍优于在干净图上的准确率。源代码可在 https://github.com/zhongjian-zhang/LLM4RGNN 获取。
引用
@article{arxiv.2408.08685,
title = {Can Large Language Models Improve the Adversarial Robustness of Graph Neural Networks?},
author = {Zhongjian Zhang and Xiao Wang and Huichi Zhou and Yue Yu and Mengmei Zhang and Cheng Yang and Chuan Shi},
journal= {arXiv preprint arXiv:2408.08685},
year = {2024}
}
备注
accepted by KDD 2025