基于因果的图神经网络注意力监督:迈向强大注意力的更优且更简选择
机器学习
2023-07-19 v2 人工智能
计算机与社会
摘要
近年来,注意力机制在图表示学习中展现出巨大潜力。然而,尽管基于注意力的 GNN 变体在众多真实世界数据集上不断刷新基准,近期工作指出由于其缺乏直接监督,所诱导的注意力在噪声图下鲁棒性与泛化性较弱。本文提出一种新框架,利用因果工具为注意力函数的学习过程提供强有力的监督信号。具体而言,我们估计注意力对最终预测的直接因果效应,并最大化该效应以引导注意力关注更有意义的邻居。我们的方法可作为即插即用模块,以端到端方式为任意标准基于注意力的 GNN 所用。在广泛基准数据集上的大量实验表明,通过直接监督注意力函数,模型能更快收敛且决策边界更清晰,从而取得更优性能。
引用
@article{arxiv.2305.13115,
title = {Causal-Based Supervision of Attention in Graph Neural Network: A Better and Simpler Choice towards Powerful Attention},
author = {Hongjun Wang and Jiyuan Chen and Lun Du and Qiang Fu and Shi Han and Xuan Song},
journal= {arXiv preprint arXiv:2305.13115},
year = {2023}
}