中文

重访基于切比雪夫近似的图卷积神经网络

机器学习 2024-03-13 v5 人工智能

摘要

设计谱卷积网络是图学习中的一个挑战性问题。ChebNet作为早期尝试之一,使用切比雪夫多项式近似谱图卷积。GCN仅利用前两个切比雪夫多项式简化ChebNet,同时在真实世界数据集上仍优于它。GPR-GNN和BernNet证明单项式基和伯恩斯坦基在学习谱图卷积方面也优于切比雪夫基。此类结论在逼近论领域是反直觉的,因为该领域已确立切比雪夫多项式在逼近函数时达到最优收敛速率。本文中,我们重访使用切比雪夫多项式近似谱图卷积的问题。我们表明ChebNet性能不佳主要源于其近似解析滤波函数时学习到的非法系数,这导致过拟合。我们随后提出ChebNetII,一种基于切比雪夫插值的新GNN模型,其增强了原始切比雪夫多项式近似同时减轻了龙格现象。我们进行了广泛的实验研究,证明ChebNetII可学习任意图卷积,并在全监督和半监督节点分类任务中取得优越性能。最值得注意的是,我们将ChebNetII扩展至十亿级图ogbn-papers100M,表明基于谱的GNN具有优越性能。我们的代码可在https://github.com/ivam-he/ChebNetII获取。

关键词

引用

@article{arxiv.2202.03580,
  title  = {Convolutional Neural Networks on Graphs with Chebyshev Approximation, Revisited},
  author = {Mingguo He and Zhewei Wei and Ji-Rong Wen},
  journal= {arXiv preprint arXiv:2202.03580},
  year   = {2024}
}

备注

NeurIPS 2022