基于随机注意力机制的可解释且可泛化图学习
机器学习
2022-06-20 v3
摘要
可解释图学习势在必行，因为许多科学应用依赖于学习模型从图结构数据中获取洞见。以往工作多聚焦于使用事后方法解释预训练模型（尤其是图神经网络）。它们反对内在可解释模型，理由是这些模型良好的可解释性往往以预测精度为代价。然而，那些事后方法常无法提供稳定解释，并可能提取与任务虚假相关的特征。本工作中，我们通过提出图随机注意力(GSAT)来解决这些问题。GSAT源于信息瓶颈原理，向注意力权重注入随机性以阻断来自任务无关图组件的信息，同时学习降随机性的注意力来选择任务相关子图用于解释。在某些假设下，所选子图可证明不包含与任务虚假相关的模式。在八个数据集上的大量实验表明，GSAT在解释AUC上最高优于最先进方法20%↑，在预测精度上最高优于5%↑。我们的代码见https://github.com/Graph-COM/GSAT。
引用
@article{arxiv.2201.12987,
title = {Interpretable and Generalizable Graph Learning via Stochastic Attention Mechanism},
author = {Siqi Miao and Miaoyuan Liu and Pan Li},
journal= {arXiv preprint arXiv:2201.12987},
year = {2022}
}
备注
Accepted to ICML 2022