探究图神经网络的分布外泛化：架构视角
机器学习
2024-02-15 v2 人工智能
摘要
图神经网络 (GNNs) 在测试数据与训练数据来自同一分布的假设下表现出了卓越的性能。然而，在现实世界场景中，这一假设未必总是成立。因此，人们越来越关注图上下文中的分布外 (OOD) 问题。现有的大多数努力主要集中在从两个**与模型无关**的角度改进图 OOD 泛化：数据驱动方法和基于策略的学习。然而，鲜有研究致力于调查知名的**GNN 模型架构**对图 OOD 泛化的影响，这与现有研究正交。在本工作中，我们通过检查现代 GNN 的通用构建模块，首次从架构角度对图上的 OOD 泛化进行了全面调查。通过广泛的实验，我们揭示了图自注意力机制和解耦架构均对图 OOD 泛化有积极贡献。相比之下，我们观察到线性分类层往往会损害图 OOD 泛化能力。此外，我们提供了深入的理论见解和讨论以支撑这些发现。这些见解使我们能够开发一种新型 GNN 骨干模型 DGAT，旨在利用图自注意力机制和解耦架构的鲁棒特性。广泛的实验结果证明了我们的模型在图 OOD 下的有效性，在各种训练策略下均表现出显著且一致的提升。
引用
@article{arxiv.2402.08228,
title = {Investigating Out-of-Distribution Generalization of GNNs: An Architecture Perspective},
author = {Kai Guo and Hongzhi Wen and Wei Jin and Yaming Guo and Jiliang Tang and Yi Chang},
journal= {arXiv preprint arXiv:2402.08228},
year = {2024}
}