ChebMixer：基于 MLP Mixer 的高效图表示学习
计算机视觉与模式识别
2024-06-05 v2
摘要
图神经网络在学习图表示方面取得了显著成功，尤其是图 Transformer，最近在各种图挖掘任务中表现出优越性能。然而，图 Transformer 通常将节点视为令牌，导致自注意力计算时关于节点数量的二次复杂度。图 MLP Mixer 通过使用来自计算机视觉的高效 MLP Mixer 技术来应对这一挑战。然而，提取图令牌的耗时过程限制了其性能。在本文中，我们提出了一种名为 ChebMixer 的新颖架构，这是一种新型图 MLP Mixer，它使用基于快速切比雪夫多项式的谱滤波来提取令牌序列。首先，我们通过基于快速切比雪夫多项式的谱滤波生成图节点的多尺度表示。接着，我们将每个节点的多尺度表示视为一个令牌序列，并使用有效的 MLP Mixer 来精化节点表示。最后，我们通过切比雪夫插值聚合节点的多尺度表示。由于 MLP Mixer 强大的表示能力和快速的计算特性，我们可以快速提取更具信息量的节点表示，以提升下游任务的性能。实验结果证明了我们在从图节点分类到医学图像分割的各种场景中取得了显著改进。
引用
@article{arxiv.2403.16358,
title = {ChebMixer: Efficient Graph Representation Learning with MLP Mixer},
author = {Xiaoyan Kui and Haonan Yan and Qinsong Li and Liming Chen and Beiji Zou},
journal= {arXiv preprint arXiv:2403.16358},
year = {2024}
}