自适应深度图注意力网络
机器学习
2023-01-18 v1 人工智能
摘要
作为最流行的 GNN 架构之一，图注意力网络（GAT）被视为图表示最先进的学习架构，并已在各种图挖掘任务中广泛使用且取得了令人印象深刻的成果。然而，自 GAT 被提出以来，现有研究均未对 GAT 性能与层数之间的关系提供系统性洞察，而这是指导模型性能提升的关键问题。在本文中，我们进行了系统的实验评估，并基于实验结果发现了两个重要事实：（1）随着层数增加限制 GAT 模型精度的主要因素是过压缩（oversquashing）现象；（2）在先前应用于 GNN 模型的改进中，只有残差连接能显著提升 GAT 模型性能。我们结合这两个重要发现提供了理论解释：正是残差连接缓解了因过压缩导致的原始特征信息损失，从而改善了深度 GAT 模型性能。这为研究人员设计具有适当深度和良好性能的 GAT 变体模型提供了经验洞察与指导。为证明我们所提指导原则的有效性，我们提出了一种 GAT 变体模型——ADGAT，其基于图的稀疏性自适应选择层数，并通过实验证明我们的模型相比原始 GAT 有效性显著提升。
引用
@article{arxiv.2301.06265,
title = {Adaptive Depth Graph Attention Networks},
author = {Jingbo Zhou and Yixuan Du and Ruqiong Zhang and Rui Zhang},
journal= {arXiv preprint arXiv:2301.06265},
year = {2023}
}