CAT:用于修剪异配图的因果图注意力网络
机器学习
2024-06-18 v3 人工智能
社会与信息网络
摘要
图注意力网络(Graph Attention Networks, GATs)采用的局部注意力引导消息传递机制(Local Attention-guided Message Passing Mechanism, LAMP)旨在自适应地学习相邻节点的重要性,以实现更好的图上局部聚合,这可以有效拉近相似邻居的表示,从而展现出更强的判别能力。然而,现有的 GAT 在异配图中的判别能力显著下降,因为高比例的不相似邻居会削弱中心节点的自注意力,共同导致中心节点在表示空间中偏离相似节点。本文将这种由相邻节点产生的效应称为干扰效应(Distraction Effect, DE)。为了估计和削弱相邻节点的 DE,我们提出了一种用于修剪异配图的因果图注意力网络(Causally graph Attention network for Trimming heterophilic graph, CAT)。为了估计 DE,由于 DE 通过两条路径产生(夺取分配给邻居的注意力和降低中心节点的自注意力),我们使用总效应来建模 DE,这是一种因果估计量,可以从干预数据中估计;为了削弱 DE,我们识别具有最高 DE 的邻居(我们称之为干扰邻居)并将其移除。我们在所提的 CAT 框架内采用三种具有代表性的 GAT 作为基础模型,并在三种不同规模的七个异配数据集上进行了实验。对比实验表明,CAT 可以提高所有基础 GAT 模型的节点分类准确率。消融实验和可视化进一步验证了 CAT 带来的判别能力增强。源代码可在 https://github.com/GeoX-Lab/CAT 获取。
引用
@article{arxiv.2312.08672,
title = {CAT: A Causally Graph Attention Network for Trimming Heterophilic Graph},
author = {Silu He and Qinyao Luo and Xinsha Fu and Ling Zhao and Ronghua Du and Haifeng Li},
journal= {arXiv preprint arXiv:2312.08672},
year = {2024}
}
备注
25 pages, 18 figures, 5 tables