因果引导的图注意力正则化提升泛化能力
机器学习
2023-03-02 v3
摘要
图注意力网络估计节点邻居的关系重要性，以在局部邻域上聚合相关信息用于预测任务。然而，推断出的注意力易受训练数据中虚假相关性与连接性的影响，从而妨碍模型的泛化能力。我们引入CAR，一种用于图注意力网络的通用正则化框架。体现因果推断方法，CAR以可扩展的方式将注意力机制与对图连接性主动干预的因果效应相对齐。CAR与多种图注意力架构兼容，并且我们展示它系统地改善了各种节点分类任务上的泛化能力。我们的消融研究表明，CAR聚焦于与预测最相关的图结构方面（例如同配性），且比替代方法更有效。最后，我们还展示CAR通过凸显指向因果假设的节点-邻居关系来增强注意力权重的可解释性。对于社交媒体网络规模的图，CAR引导的图重连方法可让我们结合图卷积方法的可扩展性与图注意力的更高性能。
引用
@article{arxiv.2210.10946,
title = {Causally-guided Regularization of Graph Attention Improves Generalizability},
author = {Alexander P. Wu and Thomas Markovich and Bonnie Berger and Nils Hammerla and Rohit Singh},
journal= {arXiv preprint arXiv:2210.10946},
year = {2023}
}