GrokFormer：图傅里叶Kolmogorov-Arnold变换
机器学习
2025-05-30 v3 人工智能
摘要
图变换器（GTs）在图表示学习中显示出对流行图神经网络（GNNs）的显著性能。然而，GTs 的核心模块自注意力机制仅保留图特征中的低频信号，导致捕获其他重要信号（如高频信号）时效果不佳。一些最近的 GT 模型虽有缓解此问题，但其灵活性和表达性仍受限于其所学习的滤波器在预定义图谱或谱阶数上的固定。为解决这一挑战，我们提出一种图傅里叶Kolmogorov-Arnold变换器（GrokFormer），这是一种新型 GT 模型，通过在可学习激活函数上的傅里叶级数建模，学习具有自适应图谱和谱阶数的高度表达性谱滤波器。我们在理论和实证方面表明，所提GrokFormer 滤波器在其他谱方法之上具有更好的表达性。对 10 个真实世界节点分类数据集（涵盖 various 领域、规模和图属性）以及 5 个图分类数据集进行全面实验，表明 GrokFormer 在 SOTA GTs 和 GNNs 中取得优异性能。我们的代码已公开于 https://github.com/GGA23/GrokFormer
引用
@article{arxiv.2411.17296,
title = {GrokFormer: Graph Fourier Kolmogorov-Arnold Transformers},
author = {Guoguo Ai and Guansong Pang and Hezhe Qiao and Yuan Gao and Hui Yan},
journal= {arXiv preprint arXiv:2411.17296},
year = {2025}
}
备注
20 pages, 7 figures, 11 tables, Accepted by ICML 2025