KAA：Kolmogorov-Arnold 注意力用于增强注意型图神经网络
机器学习
2025-03-12 v4 人工智能
摘要
具有注意力机制的图神经网络（GNN），常称为注意型 GNN，近年来已成为高级 GNN 模型中的热门范式。然而，我们对关键邻居节点评分过程的理解仍有限，导致许多现有注意型 GNN 表现不佳。本文我们统一了当前注意型 GNN 的评分函数，提出 Kolmogorov-Arnold 注意力（KAA），将 Kolmogorov-Arnold 网络（KAN）架构集成到评分过程中。KAA 在所有注意力函数的性能上都有所提升，可被应用于 nearly all 现有注意型 GNN。为比较 KAA 与其他评分函数的表达力，我们引入最大排名距离（MRD）来量化估计其在节点重要性排名误差中的上限。我们的分析表明，在有限参数和对宽度和深度的约束下，基于线性变换和基于 MLP 的评分函数都表现出有限的表达力。相比之下，我们提出的 KAA，即使仅使用单层 KAN 参数化为零阶 B 样条函数，也显示出近乎无限的表达力。广泛的实验在节点级和图级任务上使用各种 backbone 模型表明，KAA 增强的评分函数在各种情况下都一致优于其原版，部分情况下实现了 20% 以上的性能提升。
引用
@article{arxiv.2501.13456,
title = {KAA: Kolmogorov-Arnold Attention for Enhancing Attentive Graph Neural Networks},
author = {Taoran Fang and Tianhong Gao and Chunping Wang and Yihao Shang and Wei Chow and Lei Chen and Yang Yang},
journal= {arXiv preprint arXiv:2501.13456},
year = {2025}
}